목록데이터분석 (21)

먼지뭉치 Data Analysis

[시계열 분석] 시계열분해(2) - 추세 구해보기(이동평균, Loess)

* 공부한 것을 정리한 글이므로 틀린 내용이 있을 수 있습니다. * 더 좋은 방법 또는 틀린부분이 발견될 시 계속 수정하며 업데이트 할 예정입니다. 안녕하세요 오늘은 고전적인 분해법(Classical) 과 STL 분해법 2가지 방법의 특징과 각 방법에서 추세 구하는 방법이 어떻게 다른지 정리 해보려 합니다. 이번에는 온도 데이터 7년치를 사용해 보도록 하겠습니다. import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from darts.datasets import TemperatureDataset plt.style.use('default') df = TemperatureDataset().loa..
데이터분석/시계열분석 2023. 1. 18. 23:50
[시계열분석] 시계열 분해(1) - 시계열 성분과 분해방법

* 공부한 것을 정리한 글이므로 틀린 내용이 있을 수 있습니다. * 더 좋은 방법 또는 틀린부분이 발견될 시 계속 수정하며 업데이트 할 예정입니다. 안녕하세요 오늘은 statsmodel을 사용해서 시계열 분해를 정리해보려 합니다. 시계열 분해는 시계열 데이터를 추세(trend), 계절성(seasonality), 잔차(residual)로 나눠주는 분석 방법입니다. 그렇다면 왜 시계열 분해법을 사용할까요?? 기본적으로 시계열 데이터는 AR(AutoRegressive), 즉 자신의 과거데이터에 영향을 받는 자기상관성을 전제로 분석을 합니다. 그렇다면 현재 데이터가 자신의 어떤 과거데이터에 영향을 받는지 알아보는 것이 가장 중요한 일이 됩니다. 하지만 날 것 그대로의 데이터를 보고 분석을 하기는 쉽지 않으니 시..
데이터분석/시계열분석 2023. 1. 14. 23:58
[Pandas] 년,월,일 따로 있는 데이터 읽기 : parse_dates, date_parser, index_col

* 공부한 것을 정리한 글이므로 틀린 내용이 있을 수 있습니다. * 더 좋은 방법 또는 틀린부분이 발견될 시 계속 수정하며 업데이트 할 예정입니다. 데이터를 읽어올 때 인덱스에 한번에 시간을 datetime형식으로 넣어주고 싶을때가 많습니다. 특히 시계열이라면 더욱 그렇겠죠. 그래서 시간 성분이 나눠진 데이터셋 (ex. 년 / 월 / 일..) 을 바로 datetime형식으로 인덱스에 넣어주는 전처리를 정리해보려 합니다. 사용할 데이터는 UCI 사이트의 베이징 대기오염 데이터셋입니다. https://archive.ics.uci.edu/ml/datasets/Beijing+PM2.5+Data UCI Machine Learning Repository: Beijing PM2.5 Data Data Set Beiji..
데이터분석/데이터 전처리 2023. 1. 8. 22:34
[전처리] 전처리 파이프라인 구축하기(1)

* 공부한 것을 정리한 글이므로 틀린 내용이 있을 수 있습니다. * 더 좋은 방법 또는 틀린부분이 발견될 시 계속 수정하며 업데이트 할 예정입니다. 안녕하세요 오늘은 전처리 파이프라인에 대해 정리해보려 합니다. 정제되지 않은 데이터 파일을 받았을 경우 전처리를 해줘야 하는데 이런 파일들이 계속 들어오게 된다면 매번 전처리하기 성가시고 힘들게 됩니다. 그래서 모든 전처리 과정을 하나의 파이프라인으로 만들어 데이터를 이 파이프라인에 넣어주게 되면 모델 돌리기에 적합한 형태의 형식의 데이터로 나올 수 있게 만들어 줄 수 있습니다. 이번에 다뤄볼 데이터는 seaborn에 있는 'diamond' 데이터 셋입니다. # 데이터셋 df = sns.load_dataset('diamonds') df Nan값은 없었고 데이..
데이터분석/데이터 전처리 2023. 1. 7. 23:53
이전 Prev 1 2 3 4 5 6 Next 다음