돌맹이
프로젝트 기간 : 2024-06-10~2024-08-11
| 소속 | 전공 | 이름 |
|---|---|---|
| 동국대학교 | 통계학과, 융합소프트웨어 | 김동완 |
| 동국대학교 | 통계학과, 데이터사이언스 | 이가린 |
| 동국대학교 | 통계학과, 데이터사이언스 | 조유솔 |
본 서비스는 2차 전지 핵심 광물인 리튬, 니켈, 망간, 텅스텐에 대한 일일 레포트를 제공하는 것을 목적으로 합니다. 레포트는 LSTM 모델을 활용하여 시장 전망지수와 희유 광물 지수를 기반으로 한 명일 가격 예측값을 제공하며, 자동으로 수집된 뉴스 데이터를 통해 최신 공급 동향을 요약하여 신속하게 파악할 수 있도록 돕습니다. 또한, 뉴스 데이터를 분석하여 가격 예측값의 근거가 되는 공급 위기 요인을 리스트업하여 사용자에게 제공함으로써, 예측값의 신뢰성을 높이고 대응할 수 있도록 지원합니다.
이번 프로젝트에서는 LSTM과 GRU모델을 사용하였습니다. 성능(RMSE)와 패턴을 얼마나 잘 따라가는 지를 비교한 결과 최종적으로 LSTM모델이 선정되었습니다. 또한 파생변수와 변수선택의 유의성과 모델성능을 비교검증 하기 위해서 3가지의 케이스(none,시장,all) 로 비교하였습니다. 각 케이스별로 선택된 변수는 아래와 같습니다.
| case | 변수명 |
|---|---|
NONE |
광물가격변수, 종합광물지수, 메이저/희유금속 지수 |
시장 |
광물가격변수, 종합광물지수, 메이저/희유금속 지수 |
ALL |
광물가격변수, 종합광물지수, 메이저/희유금속 지수, 환율(USD,RMD), 2차전지산업지수, 무역수지 |
이번 프로젝트에서 최종 모델로 선정된 LSTM의 시계열 예측 그래프입니다. 파란색은 실제 값을 의미하고 주황색은 예측된 값을 의미합니다. 1년간의 시계열그래프를 그렸고 예측에 사용된 test 일자는 2024-04-23 ~ 2024-04-30 입니다. 이번 프로젝트에서 사용된 파생변수 및 새로운 변수가 유의미함을 직관적으로 확인 할 수 있습니다.
| 니켈 none | 니켈 all |
|---|---|
 |
 |
| 리튬 none | 리튬 all |
|---|---|
 |
 |
| 코발트 none | 코발트 all |
|---|---|
 |
 |
| 망간 none | 망간 all |
|---|---|
 |
 |
RMSE (Root Mean Square Error)는 원래 데이터와 예측 데이터 사이의 차이의 제곱을 측정한 후, 제곱근을 취한 값이므로 원래 데이터의 단위와 동일한 단위를 가지기 때문에 해석이 용이하다는 장점을 가지고 있습니다. 이러한 이유로 RMSE로 성능을 평가하였습니다.
성능 개선은 none케이스 대비 all 케이스의 RMSE의 하락 비율을 의미합니다.
| 니켈(USD/ton) | 리튬(CNY/kg) | 코발트(USD/ton) | 망간(USD/ton) | |
|---|---|---|---|---|
NONE |
1216.14 | 22.5 | 4695.07 | 138.26 |
ALL |
327.28 | 4.44 | 456.38 | 12.99 |
시장 |
714.79 | 7.71 | 862.3 | 28.53 |
성능개선 |
73% | 81% | 91% | 91% |
| 니켈(USD/ton) | 리튬(CNY/kg) | 코발트(USD/ton) | 망간(USD/ton) | |
|---|---|---|---|---|
NONE |
1177.25 | 29.07 | 4961.32 | 133.09 |
ALL |
337.64 | 5.04 | 472.46 | 15.81 |
시장 |
724.48 | 8.41 | 812.83 | 21.79 |
성능개선 |
72% | 83% | 91% | 89% |
AI 광물 레포트는 상기 모델이 도출한 명일 광물의 시세 예측값과 뉴스 데이터를 인풋으로 받아, 최신 공급 동향을 요약합니다. 또한, 뉴스 데이터를 분석하여 가격 예측값의 근거가 되는 공급 위기 요인을 리스트업하여 예측값의 신뢰성을 높이고 이에 대응할 수 있도록 지원합니다.
자동화된 글쓰기 과정에서는 종종 '할루시네이션'(hallucination)이라 불리는 정보 왜곡의 오류가 발생할 수 있습니다. MICO는 아래의 2가지 전략을 통해 해당 문제를 극복합니다.
미코에 주입되는 프롬프트에는 CoT기법이 반영되어 있습니다. 먼저 뉴스 기사를 잘게 분해햐여 학습하여 정보 이해를 높입니다. 레포트 작성 과정 역시 여러 하위 작업으로 분해되어 단계별로 수행됩니다. 이로써 AI 모델이 보다 정확하고 일관된 정보를 생성할 수 있게 됩니다.
| 단계 | 설명 |
|---|---|
| 데이터 학습 단계 | LLM은 주제에 관련된 source 데이터를 수집하고 분해한다. |
| 목차 구성 단계 | LLM은 주제, 주요 사건, 의미 등을 포함하는 목차를 제안한다. |
| 글 작성 단계 | LLM은 각 섹션에 맞는 내용을 자세히 설명하면서 글을 완성한다. |
| 글 어조 변경 단계 | 작성된 글의 어조를 변경한다. |
| 글 평가 단계 | 작성된 글을 평가하여 내용의 정확성, 일관성 등을 종합적으로 검토한다. |
| 글 수정 단계 | 평가 결과를 토대로 필요한 경우 수정한다. |
텍스트 생성 시스템에서 정확한 사실 검증과 내용 일관성의 확보는 필수적입니다. MICO는 엄격한 평가 시스템으로 GPT가 생성한 광물 레포트가 평가기준을 충족하였는지 확인하는 단계를 거칩니다. 평가 과정은 다음의 2가지 단계로 구성되며, 기준 미달시 레포트 발행이 제합됩니다.
| 평가 방식 | 평가 측면 |
|---|---|
| 매트릭 기반 평가 | 주어진 템플릿이 글에 적절하게 적용되었는지를 분석 (구조적 일관성) |
| G-EVAL 평가 | 글의 여러 측면(정확성, 일관성, 문법 적합성, 가독성)을 정성적인 품질을 수치화하여 평가 (글의 품질을 종합적으로 판단) |
앞에서 언급한 딥러닝을 이용한 가격예측과 chatGPT 프롬프트를 활용하여 실사용 가능하도록 구체적인 프로토타입을 구현하였습니다. 구체적인 서비스를 고안하기 위하기 전에 기존에 서비스에서 느낀 pain point 는 두가지였습니다. 일자별 가격예측 모델은 존재하지 않고 광물 관련 정보들이 분산되어 있다는 점입니다. 이 두가지를 고객관점에서 가장 해결할 수 있는 UI를 고안하였습니다. 서비스의 이름은 광물(Mineral)과 Commentor의 합성어로 MICO(미코)입니다.
레포트 페이지에서는 한페이지에 특정 광물과 관련된 이슈와 정보를 한눈에 확인 할 수 있도록 구성하였습니다. 해당 페이지에서는 원하는 날짜를 선택하여 광물의 레포트를 받아 볼 수 있습니다. 앞서 언급한 바와같이 AI가 요약한 해당 일자 뉴스정보와 딥러닝을 통해서 예측된 가격 이 두가지 정보를 요약하여서 보여줍니다. 뿐만 아니라 기존 komis에서 제공하는 시장전망지표, 수급안정화, 환율 등의 정보를 요약하여 보여준다. 페이지의 하단에는 모델을 구성하는데 사용했거나 관련된 데이터를 시각화자료로 정리하여 보여줍니다.