안녕하세요 데이터 분석가 먼지입니다. 오늘은 정말 힘들었던 오라클 환경에서의 airflow 구축 경험을 적어보려 합니다. 이전 프로젝트에서의 airflow구축의 경우 사내 Postgre 서버에서 진행했기 때문에 다른 큰 이슈 없이 dag 개발에 집중했었습니다. 하지만 이번 프로젝트의 경우 고객사 private 환경으로 구축된 DB & 서버에서 구축을 하다보니, 포트, 방화벽 문제 등 엔지니어링 측면으로 많은 어려움을 겪었습니다. airflow를 구축하며 어떤 어려움을 겪었는지, 어떤 식으로 해결했는 지 정리해보려 합니다. 1. 문제 상황Airflow 설치 자체는 크게 어려운 점이 없었습니다. 파이썬 버전에 맞는 모듈들을 다운 받는 명령어가 있었고 그대로 설치를 진행하니 모듈끼리 충돌이나 그런 점은 없었..

안녕하세요 데이터분석가 먼지입니다. 오늘은 PowerBI를 사용해 고객사 HR 대시보드 구축했던 경험과 함께 시각화의 유동적인 기능 측면에서 PowerBI DAX함수에 대해 정리해보겠습니다. 1. 데이터가 클릭에 따라 움직이는 원리대시보드에서 시각화된 데이터를 클릭했을 경우 그래프에 나타나게 됩니다. 슬라이서를 통해 필터를 구성할 때도 있고, 표에서 어떤 항목을 클릭했을 때, 그 데이터만 시각화 그래프에 나타나게 됩니다. 인터넷에서 다운받았던 powerBI 파일을 예시로 설명하겠습니다. ex. 처음 페이지 & 1월 달 데이터를 클릭 시데이터클릭에 따라, 다른 시각화 객체(카드, 표)의 데이터도 바뀌는 것을 볼 수 있습니다. DAX함수 관점에서 데이터가 동적으로 움직이는 원리는 바로 '필터링' 입니다. ..

안녕하세요 먼지입니다. 오늘은 BI 프로젝트를 진행하면서 어쩔 수 없이 자체적으로 ERP DB를 파악했던 경험을 간단하게 적어보려 합니다. 문제 상황.고객사에 ERP 구축 프로젝트를 D업체가 들어간 상황이었고, 제가 속한 팀이 BI 프로젝트를 맡게 되었습니다.BI 리포트를 만들기 위해선 ERP에서 구축한 DB에 어떤 데이터가 있는 지 알아야 하는 상황이었지만, 그다지 호의적이지 않았습니다. 바쁘다고 짜증을 내더군요; 이게 팀에서 파악할 수 있는 상황이면 알아서 했겠지만, ERP DB 테이블이 1000개 정도 됩니다. 심지어 아직 ERP구축이 완료된 상황도 아니라 일부 데이터만 들어온 상황이었습니다.또한 경험해보신 분들은 알겠지만, 칼럼명이 친절하지 않습니다. PA_001 이런식의 칼럼명도 있기 때문에 파..

Write a solution to find the number of times each student attended each exam.Return the result table ordered by student_id and subject_name.학생이 본 시험 횟수를 계산하는 문제. Explanation: The result table should contain all students and all subjects. Alice attended the Math exam 3 times, the Physics exam 2 times, and the Programming exam 1 time. Bob attended the Math exam 1 time, the Programming exam 1 time..