* 수정사항---------------------------------------2023/01/12----------------------------------------Airflow 스케줄러를 통한 크롤링 자동화는 실패한 상황입니다 한 평생 윈도우만 쓰다가 리눅스를 사용하게 되었습니다...! 사용하게 된 계기는 Airflow의 스케줄러를 사용하려고 설치하는 과정에서 리눅스를 사용하게 되었네요.Airflow 로 성공적으로 크롤링 스케줄러를 만들게 되면 정리를 해보도록 하겠습니다. 말로만 듣던 리눅스 해보면서도 왜 이걸 사용하지 싶었는데 유투브에 너무 정리를 잘해주신 분이 계셔서 영상을 정리해보려 합니다. 유투브 채널 '오제이 튜브'님 의 영상입니다. 리눅스 처음 쓰는 저에게 도움이 정말 많이 되었습니..

* 공부한 것을 정리한 글이므로 틀린 내용이 있을 수 있습니다. * 더 좋은 방법 또는 틀린부분이 발견될 시 계속 수정하며 업데이트 할 예정입니다. 데이터를 읽어올 때 인덱스에 한번에 시간을 datetime형식으로 넣어주고 싶을때가 많습니다. 특히 시계열이라면 더욱 그렇겠죠. 그래서 시간 성분이 나눠진 데이터셋 (ex. 년 / 월 / 일..) 을 바로 datetime형식으로 인덱스에 넣어주는 전처리를 정리해보려 합니다. 사용할 데이터는 UCI 사이트의 베이징 대기오염 데이터셋입니다. https://archive.ics.uci.edu/ml/datasets/Beijing+PM2.5+Data UCI Machine Learning Repository: Beijing PM2.5 Data Data Set Beiji..

* 공부한 것을 정리한 글이므로 틀린 내용이 있을 수 있습니다. * 더 좋은 방법 또는 틀린부분이 발견될 시 계속 수정하며 업데이트 할 예정입니다. 안녕하세요 오늘은 전처리 파이프라인에 대해 정리해보려 합니다. 정제되지 않은 데이터 파일을 받았을 경우 전처리를 해줘야 하는데 이런 파일들이 계속 들어오게 된다면 매번 전처리하기 성가시고 힘들게 됩니다. 그래서 모든 전처리 과정을 하나의 파이프라인으로 만들어 데이터를 이 파이프라인에 넣어주게 되면 모델 돌리기에 적합한 형태의 형식의 데이터로 나올 수 있게 만들어 줄 수 있습니다. 이번에 다뤄볼 데이터는 seaborn에 있는 'diamond' 데이터 셋입니다. # 데이터셋 df = sns.load_dataset('diamonds') df Nan값은 없었고 데이..

* 포스팅 날짜를 확인해주세요 * 특히 이수역의 경우 없어지는 가게가 많습니다. * 이수역에 20년 넘게 거주하고 있습니다. 사실 맛집을 좋아하고 하는데 코딩으로 매일 하나씩 포스팅 하는건 무리여서 처음으로 맛집 포스팅을 하게 되었습니다..! 당연히 내돈 내산이고 이수사당에 20년 넘게 산 주민으로서 괜찮은 집들을 소개하려고 합니다. 앞으로 사진을 많이 찍어서 포스팅을 해보도록 하겠습니다. 오늘 소개해 드릴 집은 '윤공 Korean Bistro' 요리 주점집입니다. https://map.naver.com/v5/entry/place/1226807259?c=14135302.0159737,4506039.0832114,13,0,0,0,dh&placePath=%2Fhome&entry=plt 네이버 지도 동작구 사..