목록Python (3)

데이터분석과 개발

[전처리] 전처리 파이프라인 구축하기(1)

* 공부한 것을 정리한 글이므로 틀린 내용이 있을 수 있습니다. * 더 좋은 방법 또는 틀린부분이 발견될 시 계속 수정하며 업데이트 할 예정입니다. 안녕하세요 오늘은 전처리 파이프라인에 대해 정리해보려 합니다. 정제되지 않은 데이터 파일을 받았을 경우 전처리를 해줘야 하는데 이런 파일들이 계속 들어오게 된다면 매번 전처리하기 성가시고 힘들게 됩니다. 그래서 모든 전처리 과정을 하나의 파이프라인으로 만들어 데이터를 이 파이프라인에 넣어주게 되면 모델 돌리기에 적합한 형태의 형식의 데이터로 나올 수 있게 만들어 줄 수 있습니다. 이번에 다뤄볼 데이터는 seaborn에 있는 'diamond' 데이터 셋입니다. # 데이터셋 df = sns.load_dataset('diamonds') df Nan값은 없었고 데이..
AI(시계열)/데이터 전처리 2023. 1. 7. 23:53
[전처리] 시계열 데이터에서 train, validation, test 나누기

* 공부한 것을 정리한 글이므로 틀린 내용이 있을 수 있습니다. * 더 좋은 방법 또는 틀린부분이 발견될 시 계속 수정하며 업데이트 할 예정입니다. 오늘은 train, validation, test 데이터셋을 나누는 방법에 대해 포스팅 해보려 합니다. 일반적인 분류, 회귀 모델과 달리 시간의 흐름을 지켜줘야 하기 때문에 어떻게 보면 더 어렵기도 하고 더 쉽기도 한 것 같습니다. darts 데이터셋에 있는 'Daily minimum Temperature' 데이터를 사용하여 train validation test 를 나눠보겠습니다. import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from d..
AI(시계열)/데이터 전처리 2023. 1. 4. 22:32
[Pandas] 시간데이터 전처리: datetime타입 형식변환 & 시간 차이 구하기

이번엔 매번 잊어먹는 시간데이터의 전처리에 대해 정리 해보려 합니다. 시간데이터를 datetime형식으로 만들어 줬을 때, 원하는 기간의 데이터를 쉽게 추출할 수 있어지는 큰 장점이 생깁니다. 예를 들어 datetime형식으로 인덱스를 만들어주게 되면 df.loc['2022-01-11' : '2022-10-31'] 를 통해 원하는 2022년 일 데이터를 가져올 수도 있고 df.loc['2022-02' : '2022-08'] 를 통해 2월부터 8월 데이터를 가져올 수도 있습니다. 이런 장점을 활용하기 위해선 datetime형식을 잘 바꿔줘야 합니다. 라고 하지만 저도 자주 까먹어서 여기에 정리해보려합니다. 1. 문자열을 datetime 형식으로 바꾸기 (1) datetime 문자열의 날짜 년월일을 구분해주..
AI(시계열)/데이터 전처리 2023. 1. 2. 22:10
이전 Prev 1 Next 다음