개발로그 #7 (~12/11)

[HangryDev]

개발로그

[sinjy1203]

Last Week

대회 제출 서류 작성

• multi agent 부분 대회 서류 작성

투자보고서 작성 multi agent 구현

• multi agent 구현을 쉽게 하기 위해 langgraph.prebuilt.create_react_agent 사용하여 agent 구현
• multi agent를 통해 투자 보고서 작성하는 기능 구현
  • market_research_agent
  • financial_analysis_agent
  • investment_strategy_agent

Next Week

• tool 에러 수정
  • 삼성전자 -> 한글이라 reddit tool에서 에러 발생, nvidia -> code_dict에서 에러발생
• multi agent workflow 고도화

[hidden719]

LastWeek

• 오른쪽 버튼 클릭 -> screenshot -> screenshot 범위 선택 -> 팝업창에 이미지 띄우기 코드 작성(오류)
• 문제는 content.js를 만들어서 하려고 했는데, chrome은 popup.js에만 기능을 허용하는 듯함
• 여러 버그들 고치기

NextWeek

• screenshot 이미지 오류 해결
• screenshot의 이미지에서 글자 데이터 추출

[MinwooKim1990]

6 주 계획: Parsing 이 끝났을 경우 llm 연구계획

• llm 관련 자료 연구 및 스터디 계획
• Quantization관련 Cuda에서 진행 불가.. 이유 모름 —> pytorch에서 cuda 사용 양자화 방법이 없음. 그러나 cpu도 문제 발생 —> onnx로 변환 후 양자화 진행
• Paged-Attention 논문 리딩. 기존 Autoregressive generation의 kv 캐시가 차지하는 메모리의 비효율성을 개선하기 위해 진행된 연구로 paged-attention은 kv캐시를 블락으로 비연속적으로 나누고 일정 수의 키와 밸류 값을 가지며 가상 메모리와 copy on write 같은 기술을 사용해 효율적으로 캐시를 관리한다.

---

7 주 계획: Quantization 시도 및 Distillation 시도

• 경량화 관련하여 Quantization 과 Distillation 부분의 실습 심화 시도
• Pruning 관련 개념 연구
• paged-attention 사용 실습.

---

8 주 계획: Main system과 프론트 연동

• 합쳐진 메인 시스템 사용
• Gradio를 사용한 프론트 연동

[data-sign]

Last week

• 대회 제출 서류 작성
• TEMPO(TEMPO: PROMPT-BASED GENERATIVE PRE-TRAINED TRANSFORMER FOR TIME SERIES FORECASTING) 논문 읽기
• 증권사리포트 데이터 mongoDB 적재

Next Week

• TEMPO 구현하기

[HyunJunLEE-Hub]

Last week

1. 쿼리 -> 날짜(start_date, end_date) 추출
   • 정규식으로 추출하는 방법
     • 한 쿼리에 날짜 관련이 2개 이상 포함되어 있는거에 아직 대응 못함
   • GPT-4o로는 가능하나 너무 비싸고 GPT-4o mini는 잘 못 찾는 문제가 발생..
     • 가격 차이 15배

Next week

1. STT 코드 리팩토링
2. STT Map Reduce 요약본 임베딩
3. 메타데이터로 회의 카테고리 관리 필요
   • 기획팀에 요청
4. 쿼리 -> 날짜(start_date, end_date) 추출
   • Web Serch Tools 사용 VS 공휴일 API 배치처리 및 DB 관리 비교
   • 정규식 추출 부분 보완

[LewisVille-flow]

한국어 특화 요약 태스크 수행을 위한 경량화된 LLM 개발 프로젝트

Last Week

• 발표준비
• 휴식 기간(체력 이슈로 특별한 진행사항 없음)

Next Week

• Propagating Knowledge Updates to LMs Through Distillation, (NeurIPS 2023), The University of Texas at Austin
• DISTILLM: Towards Streamlined Distillation for Large Language Models
• pytorch lightning 기반 summarization training 베이스라인 구축

[videorighter]

Stockelper

Last week

• 아이디어톤 제출 서류 작성
• 경쟁사 정보 크롤링
• NeurIPS 참가

Next Week

• 아이디어톤 결과물 제출
• 프로덕트 아키텍쳐 고도화
• NeurIPS 참가

[tomatojams]

Last week
프롬프트 엔지니어링 고도화 - 자연스러운 여성대화체등
HTML,CSS, JS 개발 스터디
플러터 프론트 인터페이스작업
Next Week
플러터 작업 고도화
애니메이션 작업

[jh941213]

Last week

• 아이디어 톤 정리
• 기존 코드 멀티 툴 에이전트 변화 및 리팩토링, 비동기 처리

Next Week

• UI 적용 하기
• Youtube API 를 활용해서 에이전트 툴 구축
• llamaIndex Tool 리서치

[onun1059]

Last week

• html, css 스터디
• 노마드코더 challenge

Next week

• javascript study 시작
• 타로코드 프런트 시작

[SangMini2]

한국어 경량화 LLM 요약 task

Last Week

• LLM-QAT 논문 리뷰 블로그 게재: https://velog.io/@smkm1568/Paper-reviewLLM-QAT-Data-Free-Quantization-Aware-Trainingfor-Large-Language-Models
• 발표 자료 업로드
• Summarization에 사용할 수 있는 방법 조사
  • LLM(크기가 상대적으로 큰) PTQ + prompt engineering
  • Encoder-Decoder model finetuning
  • LLM + finetuning
• Finetuning 학습 코드 작성중

Next Week

• 학습 진행
• Prompt engineering vs finetuning 결과 비교

[kihoon71]

dead-project-snipper

• aiflow에 Dag 적재 작업 완료
• 데이터 스키마 수정
• airflow 도커 설치 자동화 스크립트 제작 완료

Servant-chatbot

• 요약 -> cypher쿼리 실험 완료..
• 데이터 마스킹 프롬프트 실험 완료..

[Garurubi]

Last Week

• 한국어 모델 성능 체크를 위한 HAE-RAE 벤치마크 테스트 수행

zero-shot	General Knowledge	History	Loan Words	Rare Words	Reading Comprehension	Standard Nomenclature
EXAONE-3.5-7.8B-Instruct	0.35	0.80	0.77	0.67	0.60	0.60
Qwen2.5-7B-Instruct	0.49	0.40	0.63	0.62	0.64	0.64
Llama-3.1-8B-Instruct	0.40	0.53	0.68	0.65	0.62	0.64
gemma-2-2b-it	0.15	0.17	0.04	0.14	0.24	0.25

• 7~8b 모델을 위주로 테스트 해본 결과 전반적으로 답변은 잘 생성했지만 EXAONE-3.5-7.8B가 제일 우수함.
• 실수로 2b 모델을 수행하게 되었지만 2b 모델의 경우 한국어 지시사항을 거의 알아듣지 못함.

Next Week

• Language Confusion Benchmark로 영어+한국어 혼용에 대한 벤치마크 수행
• 최종 모델 선정 후 GGUF 양자화 준비

[xodhx4]

Last week

• https://www.uber.com/en-KR/blog/introducing-the-prompt-engineering-toolkit/
• https://engineering.fb.com/2024/12/02/production-engineering/meta-andromeda-advantage-automation-next-gen-personalized-ads-retrieval-engine/

Next week

• 내용 정리 전에 기존 것들 스키밍하기

[minglet]

Last week

• 오픈 모델 테스트
• RAG 코드 정리
• Agent 뉴스 api 테스트
• 발표 주제 선정

Next week

• 발표 준비
• 프로젝트 리드미 작성

[cheonsol-lee]

Last Week

• 공모전 준비: 지식그래프 스키마 구성
  

Next Week

• 지식그래프 DB 생성
• GraphRAG 구현

[jh941213]

#Last week

• 기존 코드 모듈화 및 디버깅 클렌징 작업
• youtube tool 추가
• 슈카 페르소나 반영

#Next Week

• 멀티모달 RAG 부분 리서치 및 코드 개발