👉 WelSSiSKo_v3_llama-2-ko-base_text-generation (Feb.11 2024)
👉 WelSSiSKo-Chat (Nov.30 2023)
👉 WelSSiSKo (Nov.11 2023)
- 24년 2월 11일 기준으로
beomi/llama-2-ko-7b를 베이스로 하여 4bit LoRA를 적용한 Welfare Domain specific model을 작성하였습니다. Instruction Finetuning을 진행하였고 자세한 파일은 huggingface에 올려두었으니 참고하시길 바랍니다.
- 학습에 사용된 데이터는 Welfare QA를 가공하여 사용하였습니다.
- 해당 Domain에 대한 Data Benchmark가 따로 없기 때문에 정성평가를 진행하였고 해당결과는
evaluate_result.json을 참조하시면 됩니다. - 같은 Query를 넣었을 때 생성하는 답변에 대해서 기존답변과 생성한 답변에 대해 유사도를 측정하였고 AVG Score 74입니다.
Feb.11, 2024
beomi/llama-2-ko-7b기반으로 4bit LoRA를 이용한 Chat Model로 재학습
Nov.30, 2023
beomi/polyglot-ko-12.8b-safetensors기반으로 8bit LoRA를 이용한 Chat Model로 재학습
Nov.21, 2023
- First Complete Version Upload
@misc{welssisko,
author = {ash-hun and Noveled},
title = {WelSSiSKo : Welfare Domain Specific Korean Language Model},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/ash-hun/WelSSISKo}},
}