
[시계열 데이터수집] 크롤링 다음페이지 넘기기
·
데이터분석/시계열분석
예전에 프로젝트를 하다가 전염병 관련 데이터를 모았던 일이 있습니다. url 이 변하지 않아 selenium을 써야 했고 직접 한페이지 한페이지 넘기면서 데이터를 가져왔어야 했습니다. 다음페이지 버튼을 클릭해가며 끝까지 크롤링하는 부분이 생각보다 쉽지 않아 정리해보려 합니다. 가져왔던 페이지는 국가가축방역통합시스템이고 가축전염병이 발생했던 날짜와 장소를 나타낸 데이터입니다. https://home.kahis.go.kr/home/lkntscrinfo/selectLkntsOccrrncList.do 국가가축방역통합시스템 > 가축전염병 발생정보 > 국내현황 > 법정가축전염병 발생현황 법정가축전염병 발생현황 home.kahis.go.kr 크롤링을 하기 위해 셀레늄 드라이버를 부르고 import pandas as ..