안녕하세요 먼지입니다. gpt를 쓰면서 작업을 하게 되는데 가끔 사용해본 적 없는 코드를 짜주는 경우가 있습니다. 좋은 코드인데도 몰랐던 경우들이 있어 하나씩 정리해보려 합니다. 이번에 정리해볼 grouped객체를 for문에서 사용하는 법입니다. 동적으로 group by를 해주는 전처리 과정에서 사용했던 코드인데, 언뜻보면 group by를 하는 거 같지만 필터링 기능이라고 보시면 좋을 것 같습니다. 작동 예시를 보여드리고 어떤 때 쓰면 좋을지 간단하게 적어보겠습니다. 예시 데이터는 아래와 같습니다.# 예시 데이터import pandas as pddf = pd.DataFrame({ "category": ["Electronics", "Electronics", "Clothing", "Clothing"..

안녕하세요 데이터 사이언티스트 먼지입니다. 2달간 야근을 하며 agent 데모 개발을 하면서 의문이었던 점이 있었습니다. 현재 작업은 pdf, excel 같은 비정형데이터가 아닌 데이터베이스 정형데이터를 읽어 Agent를 개발하고 있는데 vectorDB가 굳이 필요한가 였습니다. 가장 큰 이유는 이미 데이터베이스와 상호작용하는 DataBaseToolkit 이라는 모듈이 있기 때문입니다. 프롬프트만 잘 써주면 자연어질문에 대해 쿼리 성능이 정말 좋다는 점을 확인했기 때문입니다. 하지만 이번에 채널톡 테크 블로그를 읽고 정형데이터에서도 VectorDB가 꼭 필요하구나 생각이 많이 바뀌게 되었는데요. 그 내용을 한번 정리해보려 합니다. 1. 정형데이터 VectorDB 사용 후 느낀점(1) max-token ..

안녕하세요 먼지입니다. 회사에서 AI Agent 프로젝트를 하다보니 집에서도 llm 환경을 구축해보면 좋지 않을까라는 생각이 들었습니다. 모든 일을 경험할 수 있는 건 아니다보니 집에서 개인 프로젝트로 경험해보고 싶은 것들이 생기더라고요. 성능 좋은 gpt, claude 모델은 아니더라도 간단한 프로젝트를 진행할 수 있도록 설치를 진행해보았습니다. 로컬 환경의 본래의 가장 큰 목적은 "보안"이지만, 저 같은 일반 개발자들에게는 아무래도 "무료" 인 점이지 않을까 싶습니다.연습을 하고 싶은데 과금이 얼마나 나올지도 몰라 불안한 점을 해결할 수 있을 것 같습니다. 제가 처음으로 설치한 모델은 "Ollama" 모델입니다. 이유는 메타의 오픈소스이고, 가장 유명한 로컬모델이기 때문에 성능이 궁금했습니다. 지금부..

안녕하세요 데이터사이언티스트 먼지입니다. 한달간 회사에서 AI Agent개발을 했습니다. 정말 아무것도 모르는 상태에서 시작했고, 시행착오도 많았던 것 같습니다. 사용해본 결과, 결국 selfquery retriever는 필터링이 자연어 질문에 따라 얼마나 정확하게 걸리냐의 문제였습니다. 셀프쿼리 리트리버를 사용하는 이유와 필터링이 걸리지 않았을 때 해결했던 경험을 아래 적어보도록 하겠습니다.SelfQuery Retriever란?자연어 질문에서 필터링을 걸어 VectorDB 속 데이터를 가져오는 검색기입니다. 예를 들어, "2025년에 출시된 화장품 중 스킨케어 제품을 알려줘 " 라고 질문이 들어왔을때, 셀프쿼리 리트리버를 거친다면, 필터링1. 년 = 2025필터링2. 카테고리 = "스킨케어"로 필..