개발로그 #4 (7주차 ~11/13)

[HangryDev]

댓글에 남겨주세요!

[sinjy1203]

Last week

• Multi Agent framework 리서치 -> AutoGen, LangGraph, CrewAI
• 기존 tool 정상화 -> Milvus vectorstore 적용
• Langfuse callback을 사용한 tracing

Next week

• LangGraph 공부

[MinwooKim1990]

4 주 계획: 데이터 수집 및 전 처리

목표:

• 크롤링 데이터 수집 업무 완료
• 수집된 데이터에서 불필요한 부분 확인 후 삭제 완료
• 이후 작업인 CV Parsing 업무로 진입
• 기본적인 CV Parsing 코드 작성

---

4 주 계획: Parsing 최적화

• 어떤 CV 구성에도 완벽하게 데이터를 가져올 수 있게 최적화 작업
• Transformer 이용 parsing 안정성 테스트 → Dictionary 형태로 반환. 정확히 다 parsing 했는지 판단 어려움
• Vision을 이용한 Parsing 연구 → OmniParser를 이용한 파싱. 적절하게 값들 가져옴
• 다양한 형태의 CV 파싱 가능성. 위치 및 bounding box까지 생성 가능

---

5 주 계획: Parsing 이 끝났을 경우 llm 연구계획

• llm 관련 자료 연구 및 스터디 계획

[hidden719]

Last Week

LLM : API를 연결해보려고 코드 수정을 하였는데 제대로 작동하는지를 볼 수가 없습니다.

Next week

LLM과 드래그 후 연결(진행중!) : LLM api를 적용 완료하여 결과를 볼 수 있도록 하는게 목표입니다.

[xodhx4]

Last week

• LLM offline evaluation 발표 준비

Next week

• LLM이 실제 기업에서 쓰이는 사례를 더 조사하여 사용한 기술 분류. 거기서 필요한 키워드 다시 추출해보기

[tomatojams]

Last week

• TARO_Night 백엔드 제작 시작
• 프롬프트 엔지니어링

Next week

• 프론트 개발
• 프롬프트 엔지니어링 고도화

[cheonsol-lee]

Last Week

- GraphRAG - 이론, GS세미나, 실습
- KG 구축 - 한투 API 실습
- LLM 논문 선정

Next Week

- LLM 논문 정리
- KG 구축(한투 API), GraphRAG 구현
    - FinanceDataReader 대체? KRX 전체 종목
    - Milvus 연동
- 목표: 뉴스 → 지식그래프 생성 → GraphRAG
- Node, Property Schema 고민
    - Cypher Query 예상 결과 기반의 DB 구축
    - Node 산정 기준
    - ex) Node(맛집), Property(맛집 속성)
    - ex) Node(종목), Property(?)
        1. 삼성전자 → ‘주가’ → 55,000원
        2. 삼성전자, Property(55,000원)
    - Scence Graph: 객체 간의 관계 설정
        - 총 들고 있는 군인 → 군인/총 탐지

[jh941213]

Last week

• 코드 리팩토링 , 모듈화
• 영상님과 상의후 DB 연동

Next Week

• 데이터 마트 레퍼런스 찾기
• 검색엔진 Tool 활용을 위한 레퍼런스 찾기
• 프롬프트 엔지니어링 고도화

[Garurubi]

Last week

• 경량화 survey 논문 중 Structured Pruning에 대해 조사
  https://velog.io/@jjhee3156/Structured-Pruning

Next week

• 특정 task의 성능을 유지시키는 pruning 방법을 계속 조사

[HyunJunLEE-Hub]

Last week

Azure AI Speech dev 배포

Batch API가 아니여서 느림, 1시간에 1달러 비쌈..

Ko-LLM-LeaderBoard Model Test

vLLM 서빙

10B 초과는 제외
EEVE 계열 외에서는 DeepMount00/Llama-3.1-8b-ITA가 토큰 길이(128k)가 길어 좋아보였음
사용하고 있는 EEVE에 비해 유리한 점이 많음

개인 프로젝트(자유수영 LLM)

개요 작성

Next week

LLM 평가 관련 리서치

promptfoo Test

개인 프로젝트(자유수영 LLM)

구조도 작성
neo4j, duckduckgo 리서치

[videorighter]

Stockelper

• Last Week
  • 뉴스데이터 벡터임베딩 Cronjob 세팅
  • Docker Compose
    • MongoDB & MilvusDB
    • 뉴스 크롤러 & 벡터 임베딩 및 적재
  • LLM 서버 데이터 입출력
    • 챗봇 레이아웃 기획 고도화
      • 목표: 고도화 된 기능을 어떻게 웹 상으로 시각화 할 것인지
      • input, output 구상 (지식그래프)
  • Q) Cronjob 목적
    • 실시간 수집 및 벡터임베딩 목적(최대한)
    1. 뉴스 크롤링(오전 6시~자정, 매시간마다)
    2. 벡터임베딩(bge-m3)
    3. 기타 정보(테이블) 임베딩
  • NClouder 10월 선정
• Next Week
  • 뉴스데이터 벡터임베딩 Cronjob 세팅
  • 챗봇 레이아웃 기획 고도화

[HangryDev]

dead project snipper

지난주 까지 한 일

지난 주에는 새로운 개발사항이 없었습니다! 그 전에는 데이터를 모으고, 대시보드 UI를 만든게 전부였네요.

이번 주 한 일

개발은 안 함! 점검과 테스팅 약간이 전부였습니다.
방콕에서 발표를 진행했고, 해커톤에서 8천 달러 수상했습니다!
GTM 측면에서 좋은 성과가 있었습니다. 관계자들을 만났고 협업 제안을 여럿 받았습니다. 피드백이 좋습니다 :)

앞으로 할 일

DPS는 다음 주 쉬어갑니다 :
이후 새로 만들어달라는 사람들의 설계를 들여다보구, 본격 실험과 데이터셋 구성을 진행할까 해요.

[kihoon71]

이번 주에 한 것

---

• crawler 제작 완료
• 실험 데이터 적재 완료
• MongoDB schema 수정
• 전처리용 ollama 3b 실험 중

[onun1059]

Last Week

• 웹페이지 개설 관련 스터디 진행( html/css ,react)

• LLM 온라인 평가 발표 준비

Next Week

• 프롬프트 개발 시작

[SangMini2]

Last week

• quantization을 이용한 학습 방법 리서치
• QLoRA 논문 및 리뷰 다시 확인 (https://velog.io/@smkm1568/Paper-review-t64w7fkw)
• 실험 준비

Next week

• QLoRA를 이용한 학습
• 다른 방법론 리서치

[minglet]

Last week

• RAG 인덱싱 리서치 (RAPTOR)
• RAG 테스트를 위한 정답 데이터 셋 생성
• LLM prompt testing

Next week

• RAG 추가 리서치 및 실험
• PagedAttention 논문 리뷰

[workdd]

Last Week

선별된 뉴스 요약 모델 Prompt Engineering

• Qwen2.5-7b-instruct(int4 quantized)
• Llama3.2-3b-instruct
  Prompt Engineering을 위한 Promptfoo 설정
• 환경 구성 및 설정
• 실제 테스트 진행
  • https://app.promptfoo.dev/eval/f:18a31221-3672-4d11-b937-3ece5e43503c/
• Rouge score를 통한 Rule Base 평가 진행
  • rule base 기반의 한계가 있는 듯 하다고 판단, 특정 단어를 반복하는 경우에도 높은 점수가 나옴

현재 Prompt에서는 불필요한 태그를 생성하는 경우도 있어 추가적인 Prompting 필요

Next Week

선정한 요약 모델(Llama3.2, Qwen2.5)을 가지고 Prompt Engineer 추가 진행

• LLM 기반 답변 평가(GPT4o 사용 예정) + 직접 답변을 체크하며 정성적 평가
• 최종 모델 및 프롬프트 확정 !

PagedAttention 논문 리뷰

[johnny9210]

Last Week

Post-Training Compression 논문 리딩

• Research Focus: Post-Training Compression Techniques
• Study Link: Post-Training Compression 논문 요약 및 분석

Next Week

사후 경량화 (Post-Training Compression) 논문 추가 리딩

[LewisVille-flow]

한국어 특화 요약 태스크 수행을 위한 경량화된 LLM 개발 프로젝트

Last Week

• BERT 계열의 encoder 모델의 Knowledge Distillation 방법론 이해
  • Patient knowledge distillation for bert model compression, 2019, EMNLP/IJCNLP, Microsoft
  • DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter, 2019, Huggingface
  • Contrastive distillation on intermediate representations for language model compression, EMNLP, 2020, EMNLP, Microsoft
    • 위 방법론들은 모두 기본적으로 Teacher model의 MLM token prob을 soft label로 하여 student model 학습에 도움을 주는 방법론.
    • 하지만 요약 모델 학습에는 해당 방법론을 직접적으로 적용하기에는 무리가 있음.
• 오픈소스 한국어 sllm 모델 탐색

Next Week

• Decoder 계열의 Knowledge Distillation 방법론 탐색: Baby Llama

[yesinkim]

Last Week

• Oauth 2.0 Login 기능 확인 및 구현
• Google Canlendar 조회 API 확인
• 개발 Console 창 확인

Next Week

• 엉진창망 코드 정리
• Google Calendar 생성 API 테스트 및 구현

[HangryDev]

엉진창망!

[data-sign]

Last Week

• 피처 엔지니어링: 30개의 재무 지표 생성, 100개의 거시경제 지표 수집, KRX 주가 데이터 수집 완료.
• 감성 분석: Milvus DB 연동 테스트 및 RAG를 활용한 뉴스 헤드라인 감성 분석 수행. GPT-4 관련 오류 해결 시도 (번역 및 headine 합치기).
• FinanceDataReader 조사: 데이터 호출량 제한, KRX 전체 종목 및 가격 정보 수집 시간, 실시간 데이터 호출 가능성 (KRX: 10초, 네이버: 1분) 분석.

Next Week

• 리포트 요약 데이터를 MongoDB에 적재.
• RAG를 활용한 리포트 요약 데이터 감성 분석 테스트 진행.