Sep, 2023
关于大型语言模型在多选题中的选择偏差
On Large Language Models' Selection Bias in Multi-Choice Questions
Chujie Zheng, Hao Zhou, Fandong Meng, Jie Zhou, Minlie Huang
TL;DR通过对大型语言模型中多项选择题的研究，我们发现选项编号与选择偏见之间存在密切关系。为了减轻选择偏见，我们提出了一种名为 PriDe 的新方法，它通过计算先验分布来解决这一问题，该先验分布将选项内容与选项编号分离。PriDe 方法不仅无需标签，而且在推断过程中具有更高的效果和计算效率，通过对不同领域的样本进行训练，我们证明了 PriDe 方法估计出的先验分布具有良好的泛化能力，在更广泛的场景中具有实用潜力。