通过引入自然提示方法，即使用问题和答案选项来训练模型，使模型明确比较各个选项并减少计算成本，同时结合对多个选择符号的绑定能力，这篇论文探讨了GPT-3等大型语言模型在多项选择问题上能力的提升。

Oct, 2022

在这篇论文中，我们研究了大型语言模型在多项选择题中的鲁棒性，发现其对选项顺序敏感，并存在位置偏差的问题。通过详细的分析和实验证明，通过调整选项的位置策略可以缓解或者放大模型的偏见，并提出了校准预测的两种方法，成功提高了不同模型和评估指标的性能。

Aug, 2023

通过对大型语言模型中多项选择题的研究，我们发现选项编号与选择偏见之间存在密切关系。为了减轻选择偏见，我们提出了一种名为PriDe的新方法，它通过计算先验分布来解决这一问题，该先验分布将选项内容与选项编号分离。PriDe方法不仅无需标签，而且在推断过程中具有更高的效果和计算效率，通过对不同领域的样本进行训练，我们证明了PriDe方法估计出的先验分布具有良好的泛化能力，在更广泛的场景中具有实用潜力。

Sep, 2023

通过分析26个小型开源模型，发现65%的模型不能理解任务，只有4个模型能正确选择答案，其中只有5个模型对选项顺序无关，这些结果对于广泛使用MCQ测试的模型来说相当令人担忧。建议在任何情况下使用MCQ评估LLMs之前要小心谨慎地测试任务理解能力。

Jan, 2024

大语言模型在自然语言处理领域中具有重要意义，然而现有的以多项选择问答作为评估方法的基准测试并未能充分捕捉到大语言模型的真实能力，需要更加健全的评估机制来衡量其性能。

Feb, 2024

在这项研究中，我们探索了多选题答题（MCQA）作为评估大规模语言模型（LLMs）的方法，并发现LLMs在只给出选项的提示情况下选择正确答案的准确性较高，未来需要加强MCQA基准测试，并进一步研究LLMs的决策过程。

Feb, 2024

通过对24种模型的11个评估标准进行综合评估，本文首先回顾了当前的评估方法——多项选择题回答（MCQA），并突出了MCQA的一些潜在缺点，接着引入了RWQ-Elo评分系统，通过24种大型语言模型的竞争性对战，模拟现实世界的使用情景，最后分析了系统特点、与先前排行榜的对比，揭示了RWQ-Elo系统的稳定性、注册新模型的可行性和其重塑LLM排行榜的潜力。

Mar, 2024

在这篇论文中，我们评估了九个大语言模型在两种语言（中文和英文）的四个问答数据集上的表现，发现大语言模型在双语的多选题中存在一种顺序敏感性，竞争第一位置的选项更容易被选择，与此同时我们提出了两种衡量大语言模型输出一致性和置信度的方法，并发现多选题相较长篇生成题在一致性和预期校准误差方面较不可靠。

Mar, 2024

通过研究，我们发现文本答案比第一个标记概率更具鲁棒性，特别是在问题干扰和选项顺序改变的情况下，这进一步证明了对文本答案的评估优于对第一个标记概率的评估。

Apr, 2024

我们通过转化问题、多选题和直接文本补全的实验评估，研究了大型语言模型（LLMs）在因果推理、不确定性方面能力的量化，结果显示LLMs的表态答案与预测真实信念存在显著差异，提示它们的信念可能在多种情景和结果中存在多重偏见和不准确性，对于LLMs能力的评估方法仅提供了部分信息，需要进一步研究其能力的广度和本质。

Jun, 2024