May, 2023

关注答案选项并不总是意味着高的问题回答准确率

PDF
TL;DR研究了大型语言模型的注意力问题对其在多项选择任务中性能的影响，提出了一种简单有效的增加注意力的方法，并得出了一些实用的结论。
large language modelsattentivenesssurface form competitionprobability normalizationmultiple-choice tasks
发现论文，激发创造
  • 利用大型语言模型进行多选题答案推断

    通过引入自然提示方法，即使用问题和答案选项来训练模型，使模型明确比较各个选项并减少计算成本，同时结合对多个选择符号的绑定能力，这篇论文探讨了 GPT-3 等大型语言模型在多项选择问题上能力的提升。

    Oct, 2022

  • 表面形式竞争：为什么最高概率答案并不总是正确的

    本文介绍了一种基于特定情境下的先验概率进行计算的替代评分函数 (Domain Conditional Pointwise Mutual Information)，可以在多个零样本任务中获得一致的提升表现，尤其是在面对表面形式竞争的情况下。

    Apr, 2021

  • 我的答案是 C”：指令调整的语言模型中的首词概率与文本答案不匹配

    对于自动生成语言模型 (LLMs)，评估其面临挑战的一个常见方法是使用多项选择题 (MCQ) 来限制回应的范围，通过排名候选答案首个 token 预测的对数概率来评估模型。然而，由于模型存在多样的回应方式，例如以 “当然” 开始或拒绝回答，首个 token 可能不一致地反映最后的回应输出。因此，MCQ 评估对于模型与用户交互时的行为并不具有指示作用。我们评估了首个 token 评估与文本输出在最终选项选择、拒绝率、选择分布和对提示扰动的鲁棒性等多个维度之间的一致性程度。结果显示，两种方法在所有维度上严重不一致，不一致率超过 60%。在对话或安全数据上进行大规模微调的模型尤其受到影响。关键是，即使我们越来越限制提示的方式，例如强制以选项字母或示例模板开始，模型仍然不一致。我们的发现强调了检查文本输出的重要性，并警告不能仅仅依赖于首个 token 的评估。

    Feb, 2024

  • 文本研究：经过指导调整的语言模型比你想象的多次选择筛选器更稳健

    通过研究，我们发现文本答案比第一个标记概率更具鲁棒性，特别是在问题干扰和选项顺序改变的情况下，这进一步证明了对文本答案的评估优于对第一个标记概率的评估。

    Apr, 2024

  • 您的大型语言模型是否有知识，还是只是选择题作弊者？

    通过从现有的 MCQA 数据集中提取对比集，我们测试了 12 个大型语言模型，发现这些模型在给予问题和选项时并不依赖仅有的选择快捷方式，因此我们认为，尽管 MCQA 容易受到高选择准确性的影响，但 LLMs 并不仅仅靠利用选择快捷方式来获得 MCQA 排行榜上的高排名。

    Jul, 2024

  • 多项选择问答中，Softmax 概率（在很大程度上）预测大规模语言模型的正确性

    大型语言模型在多项选择问答任务中的最大 softmax 概率 (MSP) 与正确答案相比与错误答案相关性强，对问答任务表现优异的模型的 MSP 生成的 AUROC 在 59/60 情况中高于随机概率，并在最佳的六个模型中 AUROC 平均为 60% 到 69%。通过基于初始模型响应的 MSP 有选择地弃权，提出了一种能提高性能的多项选择问答任务。同样，我们使用预修正前 logit 进行了相同的实验，并获得了类似 (但不完全相同) 的结果。

    Feb, 2024

  • 文物还是绑架: LLMs 如何在没有问题的情况下回答多项选择题？

    在这项研究中，我们探索了多选题答题（MCQA）作为评估大规模语言模型（LLMs）的方法，并发现 LLMs 在只给出选项的提示情况下选择正确答案的准确性较高，未来需要加强 MCQA 基准测试，并进一步研究 LLMs 的决策过程。

    Feb, 2024

  • 超越答案：评估大型语言模型的多项选择题答题合理性审查

    大语言模型在自然语言处理领域中具有重要意义，然而现有的以多项选择问答作为评估方法的基准测试并未能充分捕捉到大语言模型的真实能力，需要更加健全的评估机制来衡量其性能。

    Feb, 2024

  • 多选题问答系统的期望

    本研究对最近在多项选择题回答（MCQA）数据集中取得高分的模型进行扰动实验，发现其表现不符合语言理解的人类期望，提出了一种新的训练方法，使模型更好地学习输入数据并使模型性能更好。

    Nov, 2020

  • 多选题是否能够有效地检测 LLM 的能力？

    在这篇论文中，我们评估了九个大语言模型在两种语言（中文和英文）的四个问答数据集上的表现，发现大语言模型在双语的多选题中存在一种顺序敏感性，竞争第一位置的选项更容易被选择，与此同时我们提出了两种衡量大语言模型输出一致性和置信度的方法，并发现多选题相较长篇生成题在一致性和预期校准误差方面较不可靠。

    Mar, 2024