[Leetcode] 1280. Students and Examinations
·
SQL
Write a solution to find the number of times each student attended each exam.Return the result table ordered by student_id and subject_name.학생이 본 시험 횟수를 계산하는 문제. Explanation: The result table should contain all students and all subjects. Alice attended the Math exam 3 times, the Physics exam 2 times, and the Programming exam 1 time. Bob attended the Math exam 1 time, the Programming exam 1 time..
[pandas] grouped 객체 for문에 사용하기
·
데이터분석/데이터 전처리
안녕하세요 먼지입니다. gpt를 쓰면서 작업을 하게 되는데 가끔 사용해본 적 없는 코드를 짜주는 경우가 있습니다. 좋은 코드인데도 몰랐던 경우들이 있어 하나씩 정리해보려 합니다. 이번에 정리해볼 grouped객체를 for문에서 사용하는 법입니다. 동적으로 group by를 해주는 전처리 과정에서 사용했던 코드인데, 언뜻보면 group by를 하는 거 같지만 필터링 기능이라고 보시면 좋을 것 같습니다. 작동 예시를 보여드리고 어떤 때 쓰면 좋을지 간단하게 적어보겠습니다. 예시 데이터는 아래와 같습니다.# 예시 데이터import pandas as pddf = pd.DataFrame({ "category": ["Electronics", "Electronics", "Clothing", "Clothing"..
정형데이터에서 VectorDB를 사용하는 이유
·
AI agent
안녕하세요 데이터 사이언티스트 먼지입니다. 2달간 야근을 하며 agent 데모 개발을 하면서 의문이었던 점이 있었습니다. 현재 작업은 pdf, excel 같은 비정형데이터가 아닌 데이터베이스 정형데이터를 읽어 Agent를 개발하고 있는데 vectorDB가 굳이 필요한가 였습니다. 가장 큰 이유는 이미 데이터베이스와 상호작용하는 DataBaseToolkit 이라는 모듈이 있기 때문입니다. 프롬프트만 잘 써주면 자연어질문에 대해 쿼리 성능이 정말 좋다는 점을 확인했기 때문입니다. 하지만 이번에 채널톡 테크 블로그를 읽고 정형데이터에서도 VectorDB가 꼭 필요하구나 생각이 많이 바뀌게 되었는데요. 그 내용을 한번 정리해보려 합니다. 1. 정형데이터 VectorDB 사용 후 느낀점(1) max-token ..
[월간 데이터 노트] 무료 llm Ollama 로컬 환경 셋팅하기
·
AI agent
안녕하세요 먼지입니다. 회사에서 AI Agent 프로젝트를 하다보니 집에서도 llm 환경을 구축해보면 좋지 않을까라는 생각이 들었습니다. 모든 일을 경험할 수 있는 건 아니다보니 집에서 개인 프로젝트로 경험해보고 싶은 것들이 생기더라고요. 성능 좋은 gpt, claude 모델은 아니더라도 간단한 프로젝트를 진행할 수 있도록 설치를 진행해보았습니다. 로컬 환경의 본래의 가장 큰 목적은 "보안"이지만, 저 같은 일반 개발자들에게는 아무래도 "무료" 인 점이지 않을까 싶습니다.연습을 하고 싶은데 과금이 얼마나 나올지도 몰라 불안한 점을 해결할 수 있을 것 같습니다. 제가 처음으로 설치한 모델은 "Ollama" 모델입니다. 이유는 메타의 오픈소스이고, 가장 유명한 로컬모델이기 때문에 성능이 궁금했습니다. 지금부..