关于CogVLM多轮对话训练的问题 #317
Replies: 1 comment
-
是的,开源版本的模型是这么做,仅对最后一轮的response进行损失计算 |
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
问题描述:
您好,我正在研究CogVLM的微调代码,通过观察utils/utils/language.py文件中的_history_to_prompt和llama2_text_processor,并不支持类似这里Firefly方法提到的的高效充分的多轮对话训练方式。
具体疑虑:
因此我想了解一下,CogVLM的训练(如cogagent-chat、cogvlm-chat-v1.1)都是采用了拼接完多轮对话(chat_history_to_prompt与chat_old_history_to_prompt)后,仅对最后一轮的response进行有效的损失计算的方式?
非常期待得到社区的回答和建议,谢谢大家的时间和帮助!
Beta Was this translation helpful? Give feedback.
All reactions