Skip to content

Latest commit

 

History

History
80 lines (60 loc) · 3.33 KB

README.md

File metadata and controls

80 lines (60 loc) · 3.33 KB
Raw

WelSSiSKo

Welfare Domain Specific Model

🔥 Inference Link

Open In Colab

✅ Model Links

👉 WelSSiSKo_v3_llama-2-ko-base_text-generation (Feb.11 2024)
👉 WelSSiSKo-Chat (Nov.30 2023)
👉 WelSSiSKo (Nov.11 2023)

🐶 WelSSiSKo

  • 24년 2월 11일 기준으로 beomi/llama-2-ko-7b를 베이스로 하여 4bit LoRA를 적용한 Welfare Domain specific model을 작성하였습니다. Instruction Finetuning을 진행하였고 자세한 파일은 huggingface에 올려두었으니 참고하시길 바랍니다.

📋 Data

  • 학습에 사용된 데이터는 Welfare QA를 가공하여 사용하였습니다.

💯 Evaluate

  • 해당 Domain에 대한 Data Benchmark가 따로 없기 때문에 정성평가를 진행하였고 해당결과는 evaluate_result.json을 참조하시면 됩니다.
  • 같은 Query를 넣었을 때 생성하는 답변에 대해서 기존답변과 생성한 답변에 대해 유사도를 측정하였고 AVG Score 74입니다.
image

📆 Updates

Feb.11, 2024
  • beomi/llama-2-ko-7b 기반으로 4bit LoRA를 이용한 Chat Model로 재학습
Nov.30, 2023
  • beomi/polyglot-ko-12.8b-safetensors 기반으로 8bit LoRA를 이용한 Chat Model로 재학습
Nov.21, 2023
  • First Complete Version Upload

🔗 Citation

@misc{welssisko,
      author = {ash-hun and Noveled},
      title = {WelSSiSKo : Welfare Domain Specific Korean Language Model},
      year = {2023},
      publisher = {GitHub},
      journal = {GitHub repository},
      howpublished = {\url{https://github.com/ash-hun/WelSSISKo}},
    }

👥 Contributors

📑 Reference