模型用于择优时，不同的选项顺序可能会导致输出不同是为什么

[sasakiyori]

提供几个候选选项让模型选取最优匹配的，我发现在选项内容不变，更换前后顺序和编号的情况下，模型输出的内容可能不同。

例如：

1. ABC
2. CDE
3. DEF

模型选出 2

1. DEF
2. ABC
3. CDE

模型选出1

这个是正常的吗？是因为模型会更偏向序列更前面的内容、权重更高，还是说我更换了顺序顺带影响了seq内容导致推理结果不同？

有办法缓解这个问题吗

[jklj077]

择优的稳定性感觉不是很好控制，同一个人不给上次的选择的话，下次选结果也可能会变。
对于模型而言，根本上还是单纯的输入变了，如果没有很明确的最优标准，这个还是正常的。
缓解还是prompt engineering那一套，比如转化成对每个单项打分、然后总分排序，但也没法保证总能达到预期，需要多尝试了。