AI 기반 경제 지식 플랫폼의 기술적 개요
경단 FastAPI 레포지토리는 경제 기사의 재생성, 데이터 인사이트 제공, 추천 시스템 등을 포함한 인공지능 기술을 다룹니다.
LLM (Large Language Models)RAG (Retrieval-Augmented Generation),LangChain,ChromaMorpheme Analyzer,TF-IDFLightFMplotly
- 사실 관계 오류와 맥락 이해의 한계를 개선하기 위해 도입
- 최신 정보와 정확한 사실 관계 필요
- 생성물의 품질과 공정성 보장 및 인간-AI 협업 방식 정립 등 해결 과제 대응
- 생성 AI 기술의 혜택을 안전하고 효과적으로 제공하기 위한 방법 모색
- 질문 인코딩: 사용자의 질문을 벡터 형태로 변환
- 지식 검색: 외부 지식 베이스(Wikipedia, 뉴스 기사 등)에서 관련 정보 검색
- 답변 생성: 검색된 지식을 이용해 답변 생성
- 질의 인코더(Query Encoder): 질문을 벡터 형태로 인코딩
- 지식 검색기(Knowledge Retriever): 외부 지식 베이스에서 정보 검색
- 지식 증강 생성기(Knowledge-Augmented Generator): 검색된 정보를 바탕으로 답변 생성
- LangChain: 검색 추론 능력 향상
- Google Custom Search Engine: 웹 결과 검색
- WikiPedia Retriever: Wikipedia에서 정보 검색
- 복잡도가 낮고 처음 사용하기에 Chroma 선택
- Chroma: 텍스트를 벡터로 변환하여 의미론적 유사성 기반 검색
- LangChain: 검색 추론 능력 향상
- 질문 입력: 사용자가 질문 입력
- Google 검색: Google Custom Search API로 결과 검색
- 벡터화 및 저장: 검색 결과를 텍스트 임베딩으로 변환 후 ChromaDB에 저장
- 검색 수행: ChromaDB로 유사한 문서 검색
- LLM 분석 및 정보 통합: LangChain으로 문서 분석 및 정보 통합
- RAG: 최신 정보 검색 및 데이터의 정확도와 신뢰성 향상
- NLP 모델: 자연어처리 모델을 통해 기사 재작성
- 데이터 시각화 도구: 대화형 인포그래픽을 통해 공공 데이터를 시각화
- 추론 예시: "한국에서 가장 삼겹살이 비싼 곳은 어디인가?" 등 데이터 시각화
- TF-IDF: 문서 간 유사도 계산
- 형태소 분석기: 한국어 텍스트 분석을 위한 형태소 분석
- implicit: 협업 필터링 기반의 추천 알고리즘
- 사용자 선호도 분석: 사용자 행동 데이터를 기반으로 맞춤형 추천 제공
- 공공데이터포털
- 매경 홈페이지
- 한국은행
- Google Custom Search Engine
- Naver Map API