利用模拟医学考题的方法评估大型语言模型在医学领域的表现，发现传统的多项选择题评估方法可能无法准确测量其临床知识和推理能力，而更强调其模式识别技能。这项研究强调了需要更强劲的评估方法，以更好地评估大型语言模型在医学背景下的真实能力。

Jun, 2024

通过引入自然提示方法，即使用问题和答案选项来训练模型，使模型明确比较各个选项并减少计算成本，同时结合对多个选择符号的绑定能力，这篇论文探讨了 GPT-3 等大型语言模型在多项选择问题上能力的提升。

Oct, 2022

在这篇论文中，我们评估了九个大语言模型在两种语言（中文和英文）的四个问答数据集上的表现，发现大语言模型在双语的多选题中存在一种顺序敏感性，竞争第一位置的选项更容易被选择，与此同时我们提出了两种衡量大语言模型输出一致性和置信度的方法，并发现多选题相较长篇生成题在一致性和预期校准误差方面较不可靠。

Mar, 2024

大语言模型在自然语言处理领域中具有重要意义，然而现有的以多项选择问答作为评估方法的基准测试并未能充分捕捉到大语言模型的真实能力，需要更加健全的评估机制来衡量其性能。

Feb, 2024

研究表明，尽管当前大部分开放式语言模型主要面向英语或少数几种高资源语言，人们却在多种语言中使用这些模型。本文通过引入 MultiQ 标准测试并评估 27.4k 个不同语言的基本开放式问答问题，探讨了现有开放式语言模型在超越其预定用途方面的多语言能力。通过研究发现，在一些语言中，这些模型在回答问题时表现得既忠实又准确，而大多数模型在忠实于回答问题时的准确性更高，但在某些语言中模型的准确性和忠实度都较低。我们还探讨了分词对这些发现的潜在解释，发现了可能存在的相关性，值得进一步研究。

Mar, 2024

在这项研究中，我们探索了多选题答题（MCQA）作为评估大规模语言模型（LLMs）的方法，并发现 LLMs 在只给出选项的提示情况下选择正确答案的准确性较高，未来需要加强 MCQA 基准测试，并进一步研究 LLMs 的决策过程。

Feb, 2024

在这篇论文中，我们研究了大型语言模型在多项选择题中的鲁棒性，发现其对选项顺序敏感，并存在位置偏差的问题。通过详细的分析和实验证明，通过调整选项的位置策略可以缓解或者放大模型的偏见，并提出了校准预测的两种方法，成功提高了不同模型和评估指标的性能。

Aug, 2023

通过评估各种流行的大型语言模型对医学问题的知识，我们能够更好地了解它们作为一个群体的特性。从这次比较中，我们提供了初步的观察结果并提出了进一步研究的问题。

Oct, 2023

通过完全开放式问题的方法，本研究解决了多项选择题中选择偏好和随机猜测的问题，并建立了新的语言模型评估基准。

Jun, 2024

本文介绍了一个原型工具，旨在促进语言模型与教育工作者的合作，以简化数学多项选择题生成过程。我们进行了一项试点研究，涉及数学教育工作者，以调查该工具如何帮助他们简化高质量的数学多项选择题的制作过程。研究发现，虽然语言模型能够生成良好形式的问题提示，但其生成的干扰项无法涵盖常见的学生错误和误解。尽管如此，人工智能与人类的合作有潜力提高多项选择题生成的效率和有效性。

May, 2024