타임라인 불러오기에 들어가기 앞서, 여태껏 작성해왔던 코드 전문을 보완하고 정리하는 작업을 진행해보자. 우선, 우리는 여태껏 "말걸면"이라는 검색어로만 검색을 진행해왔다. 하지만 해당 검색어를 통해 찾을 수 있는 데이터는 너무나도 적다. 우리는 최대한 많은 데이터를 확보하는 것이 목표이므로, 생각나는 검색어를 리스트(List)로 저장하여 그것을 검색어로 활용하여 캐릭터의 서버와 이름까지 추출하는 과정을 진행해보겠다. KEYWORDS = ["말걸면", "레이드돌고", "케처", "buffalo", "카쉬파"] 먼저, 검색어를 리스트 타입의 전역변수로 초기화한다. 실제로 사용할 경우는, 훨씬 더 많은 검색어를 생각하여 초기화하면 된다. # 이전까지 사용했던 URL 인코딩 함수 # def urlEncoding..

캐릭터의 이름은 어떻게 수집할까? 우리는 이미 그 답을 알고 있다. 캐릭터의 이름 수집도 모험단 이름 수집과 동일하게 진행하면 된다. # Authorized by 죤씨나 from urllib import parse from urllib.request import urlopen from bs4 import BeautifulSoup ADV_SEARCH = "https://dunfamoa.com/characters/adventure?search=" HOMEPAGE_URL = "https://dunfamoa.com" def urlEncoding(keyword_): encoded_keyword = parse.quote(keyword_) return encoded_keyword #--------검색어를 URL 인코..

from urllib import parse from urllib.request import urlopen from bs4 import BeautifulSoup ADV_SEARCH = "https://dunfamoa.com/characters/adventure?search=" HOMEPAGE_URL = "https://dunfamoa.com" #모험단 검색을 위해 추가한 던파모아 홈페이지의 URL def urlEncoding(keyword_): keyword = parse.quote(keyword_) return keyword if __name__ == "__main__": adv_keyword = urlEncoding("말걸면") source_code = urlopen(ADV_SEARCH + adv_k..

좌측 상단에 박스친 URL에 집중하자. 이제 우리는 파이썬으로 서버에 요청을 보내 응답을 받는 과정을 진행할 것이다. 일단 캐릭터의 정보를 얻기 위해서, 모험단 단위로 검색을 진행할 것이다. from urllib import parse from urllib.request import urlopen ADV_SEARCH = 'https://dunfamoa.com/characters/adventure?search=' def urlEncoding(keyword_): #"말걸면"을 URL 인코딩하여 반환함 keyword = parse.quote(keyword_) return keyword if __name__ == "__main__": adv_keyword = urlEncoding("말걸면") print(adv_..

이전까지는 캐릭터의 이름으로 네오플 서버로부터 자료를 응답받는 과정을 진행하였다. "죤씨나"라는 캐릭터의 정보만으로는 대량의 데이터를 구할 수 없다. 우리는 최대한 많은 캐릭터의 정보를 얻어내기 위해 "던파모아 https://dunfamoa.com/"라는 사이트를 크롤링하여 캐릭터의 이름을 모을 것이다. 1. 검색(모험단(계정) 단위? 캐릭터 단위?) 던파모아에서는 캐릭터 검색과 모험단 검색 기능을 제공한다. 캐릭터 검색은 말 그대로 검색어를 포함하는 캐릭터들을 검색하는 기능이며, 모험단 검색은 검색어를 포함하는 계정을 통째로 검색하는 기능이다. 2. 모험단 단위 검색 결과 던파모아에서는 검색결과를 20개로 제한시켰다. 캐릭터를 검색해도 검색어를 포함한 캐릭터 20개만 검색되고, 모험단(계정) 단위로 검..

캐릭터 검색(1) 파트의 내용을 파이썬으로 import urllib3 from json import loads APIKEY = '네오플 오픈 API 웹페이지에서 지급받은 여러분의 APIkey로 초기화하시면 됩니다.' serverId = 'all' characterId_encoded = '%ec%a3%a4%ec%94%a8%eb%82%98' # "죤씨나"를 URL encoding한 결과 http = urllib3.PoolManager() HTTP client 역할을 수행할 수 있는 라이브러리 중 하나인 urllib3를 사용한다. client란 고객, 즉, 서비스(데이터)를 요청(Request)하는 역할을 하며 server가 이 요청(Request)을 받아들여 응답(Response)을 한다. (요청한 데이터를..