模型训练后推理出现乱码

[MickeyFei]

起始日期 | Start Date

No response

实现PR | Implementation PR

No response

相关Issues | Reference Issues

No response

摘要 | Summary

使用Minicpm-v2.6 微调 aitz数据集 ，在推理的时候某些epoch出现乱码和重复输出现象，有人遇到过这种情况吗？

基本示例 | Basic Example

模型输出示例1：
{"typed_text_type_type_type_type_type_type_type_type_type__type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_type_ty....
模型输出示例2：
stoppe, o sa empty, and s a sla b luccvab arnba u sa, m, saperz yheo sau s, and loo empty to sadsfct aboutnl, s a s s o, sa, sau le, c s-a sa s, sau s (an activate metiigl;n, 'b r-olocal i-s-a) located t sa,s but, sa- s aui l o be s-la ups (indd sa,w a sa for b the w,$ sa, sa, sa,
英文完全混乱

缺陷 | Drawbacks

模型推理失效

未解决问题 | Unresolved questions

No response

[LDLINGLINGLING]

你好，你可以先检查一下数据集是否被污染，然后看下训练损失是否下降，最后验证一下推理环境是否存在问题