[시계열 데이터수집] 크롤링 다음페이지 넘기기
·
데이터분석/시계열분석
예전에 프로젝트를 하다가 전염병 관련 데이터를 모았던 일이 있습니다. url 이 변하지 않아 selenium을 써야 했고 직접 한페이지 한페이지 넘기면서 데이터를 가져왔어야 했습니다. 다음페이지 버튼을 클릭해가며 끝까지 크롤링하는 부분이 생각보다 쉽지 않아 정리해보려 합니다. 가져왔던 페이지는 국가가축방역통합시스템이고 가축전염병이 발생했던 날짜와 장소를 나타낸 데이터입니다. https://home.kahis.go.kr/home/lkntscrinfo/selectLkntsOccrrncList.do 국가가축방역통합시스템 > 가축전염병 발생정보 > 국내현황 > 법정가축전염병 발생현황 법정가축전염병 발생현황 home.kahis.go.kr 크롤링을 하기 위해 셀레늄 드라이버를 부르고 import pandas as ..
[시계열 데이터수집] darts 모듈 데이터셋 살펴보기
·
데이터분석/시계열분석
시계열 데이터 분석을 하다 보니 여러 종류의 데이터가 필요했습니다. 어떨때는 계절성이 있는 데이터를 분석하고 싶기도 하고 때로는 다변량 시계열 데이터가 분석하고 싶기도 한데 할때마다 검색해서 다운받기가 귀찮더라고요 이를 위해 darts라는 시계열 모듈을 사용해보려 합니다! darts는 시계열 데이터 분석을 위한 모듈로 여러가지 함수와 informer를 비롯한 최신 알고리즘까지 구현이 되어있습니다. darts 모듈 dataset엔 20가지 정도의 시계열 데이터가 있는데 10가지 정도의 데이터를 살펴보도록 하겠습니다. import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns plt.style.use(..