Mar, 2024

多选题是否能够有效地检测 LLM 的能力？

PDF
TL;DR在这篇论文中，我们评估了九个大语言模型在两种语言（中文和英文）的四个问答数据集上的表现，发现大语言模型在双语的多选题中存在一种顺序敏感性，竞争第一位置的选项更容易被选择，与此同时我们提出了两种衡量大语言模型输出一致性和置信度的方法，并发现多选题相较长篇生成题在一致性和预期校准误差方面较不可靠。
multiple-choice questionslanguage modelslong-form generationquestion-answeringbilingual mcqs
发现论文，激发创造
  • 多项选择题与大型语言模型：以虚构医疗数据为例的案例研究

    利用模拟医学考题的方法评估大型语言模型在医学领域的表现，发现传统的多项选择题评估方法可能无法准确测量其临床知识和推理能力，而更强调其模式识别技能。这项研究强调了需要更强劲的评估方法，以更好地评估大型语言模型在医学背景下的真实能力。

    Jun, 2024

  • 多项选择问题回答中大型语言模型的局限性研究

    通过分析 26 个小型开源模型，发现 65% 的模型不能理解任务，只有 4 个模型能正确选择答案，其中只有 5 个模型对选项顺序无关，这些结果对于广泛使用 MCQ 测试的模型来说相当令人担忧。建议在任何情况下使用 MCQ 评估 LLMs 之前要小心谨慎地测试任务理解能力。

    Jan, 2024

  • 文物还是绑架: LLMs 如何在没有问题的情况下回答多项选择题？

    在这项研究中，我们探索了多选题答题（MCQA）作为评估大规模语言模型（LLMs）的方法，并发现 LLMs 在只给出选项的提示情况下选择正确答案的准确性较高，未来需要加强 MCQA 基准测试，并进一步研究 LLMs 的决策过程。

    Feb, 2024

  • 超越答案：评估大型语言模型的多项选择题答题合理性审查

    大语言模型在自然语言处理领域中具有重要意义，然而现有的以多项选择问答作为评估方法的基准测试并未能充分捕捉到大语言模型的真实能力，需要更加健全的评估机制来衡量其性能。

    Feb, 2024

  • Open-LLM-Leaderboard：LLM 模型评估、基准和竞赛中由多项选择题到开放式问题的转换

    通过完全开放式问题的方法，本研究解决了多项选择题中选择偏好和随机猜测的问题，并建立了新的语言模型评估基准。

    Jun, 2024

  • 数学多项选择题生成：人类 - 大型语言模型协同

    本文介绍了一个原型工具，旨在促进语言模型与教育工作者的合作，以简化数学多项选择题生成过程。我们进行了一项试点研究，涉及数学教育工作者，以调查该工具如何帮助他们简化高质量的数学多项选择题的制作过程。研究发现，虽然语言模型能够生成良好形式的问题提示，但其生成的干扰项无法涵盖常见的学生错误和误解。尽管如此，人工智能与人类的合作有潜力提高多项选择题生成的效率和有效性。

    May, 2024

  • 利用大型语言模型进行多选题答案推断

    通过引入自然提示方法，即使用问题和答案选项来训练模型，使模型明确比较各个选项并减少计算成本，同时结合对多个选择符号的绑定能力，这篇论文探讨了 GPT-3 等大型语言模型在多项选择问题上能力的提升。

    Oct, 2022

  • 超越概率：揭示大型语言模型评估中的不一致性

    使用大型语言模型（LLMs）进行多项选择题（MCQs）的实证研究表明，概率评估方法在生成预测方面存在内在局限性，与当前评估框架通常基于输出概率而非直接生成回应的计算限制相关，结果强调了 LLMs 评估方法的有效性和未来研究的启示。

    Feb, 2024

  • 通过大型语言模型探索数学多项选择题的自动生成方式

    研究了基于大型语言模型的自动生成干扰项的任务，发现虽然大型语言模型能生成一些数学上有效的干扰项，但它们对于预测真实学生常见的错误或误解的能力较弱。

    Apr, 2024

  • 大型语言模型是否表现出认知失调？研究揭示观点和陈述答案之间的差异

    我们通过转化问题、多选题和直接文本补全的实验评估，研究了大型语言模型（LLMs）在因果推理、不确定性方面能力的量化，结果显示 LLMs 的表态答案与预测真实信念存在显著差异，提示它们的信念可能在多种情景和结果中存在多重偏见和不准确性，对于 LLMs 能力的评估方法仅提供了部分信息，需要进一步研究其能力的广度和本质。

    Jun, 2024