Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Python
- 음수값 #전처리 #선형보간 #pandas #데이터 #데이터분석
- 확률
- 이수역 양식집
- 시계열
- 시계열분해
- 년월일 데이터
- adf_test
- 시계열데이터셋
- 파이프라인전처리
- 짧은 시계열 # 금융시계열
- 시간형식변환
- seaborn # kdeplot # 데이터분석
- pandas # 월말 날짜 # 마지막 주 # 날짜계산 # 시계열 # 마지막 주 금요일
- 오제이튜브
- 리눅스개념
- 시계열모듈
- 시간형식
- timeseries decomposition
- 시계열 #reindex #인덱스 확장 #datetime index #index extention # 데이터전처리
- stl
- loess
- 빈 데이터프레임 #pandas #데이터전처리
- 플로틀리
- pandas
- 날짜파싱
- np.split
- 크롤링자동화
- 시계열시각화
- 응용이 보이는 선형대수
Archives
- Today
- Total
목록크롤링자동화 (1)
먼지뭉치 Data Analysis
크롤링 자동화 프로그램 구축 경험 기록
* 경험한 것을 정리한 글이므로 틀린 내용이 있을 수 있습니다. * 더 좋은 방법 또는 틀린부분이 발견될 시 계속 수정하며 업데이트 할 예정입니다. 안녕하세요 오늘은 크롤링 자동화 프로그램을 만들었던 경험을 포스팅 해볼까 합니다. 소요된 시간은 1달~ 1달 반 정도 걸렸고 15개 정도의 데이터를 크롤링하여 DB에 넣는 것을 자동화한 프로그램을 만들었습니다. 어려운 작업은 아니었지만 배운점이 많아서 한번 기록해보려 합니다! 1. 크롤링 크롤링을 꾸준히 하다보니 이제 크롤링은 저에게 단순 작업이 되어서 가볍게 넘어가도록 하겠습니다 ! 2. 코드 Class화 많은 데이터를 수집하고 또 같은 페이지에서 다른 데이터를 수집하다보니 겹치는 코드가 많아져 쓸데없이 길어져서 보기가 안 좋았습니다. 그래서 저의 경우 크..
개발&분석 경험
2023. 1. 12. 23:41