baichuan2 mmlu结果复现的问题

[zhanghan1992]

评估使用的代码：https://github.com/baichuan-inc/Baichuan-7B/blob/main/evaluation/evaluate_mmlu.py

用bf16精度测试 llama2-13-hf 和 baichuan2-13b-base
llama2-13-hf: 0.550
baichuan2-13b-base: 0.564

改了一行代码，用fp32测试：
#model = AutoModelForCausalLM.from_pretrained(args.model, torch_dtype=torch.bfloat16, device_map="auto",trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(args.model, device_map="auto",trust_remote_code=True)
llama2-13-hf: 0.554
baichuan2-13b-base: 0.590

请教下，为啥baichuan2在bf16和fp32精度下结果差这么多？