Jul, 2024

从感知到信念：探索大型语言模型中理解心智理论的前继推断

HTML
PDF
TL;DR通过评估大型语言模型(LLMs)在感知推理和感知-信念推理等人类心智理论先驱方面的能力，我们扩展了对LLMs的心智理论能力的理解，并引入了两个数据集，Percept-ToMi和Percept-FANToM，以评估LLMs对感知、推理和信念的能力。实验证明，PercepToM可以显著提高LLM的性能，尤其是在虚假信念场景中。
发现论文，激发创造
  • ToMChallenges：探索心理理论的原则导向数据集和多元评估任务

    本研究通过创建ToMChallenges数据集以综合评估Sally-Anne和Smarties测试来测试大型语言模型对理解他人的心理状态的能力，包括现实性、信念、一阶信念和二阶信念，并通过创建适用于每个任务类别的独特提示来为不同任务适应我们的数据，旨在验证模型的ToM。我们评估了两个GPT-3.5模型，text-davinci-003和gpt-3.5-turbo-0301，结果表明，在ToM任务中保持一致的表现仍然是一个挑战。

    May, 2023

  • 利用语言模型理解语言模型中的社交推理

    本研究通过创建一个新的社交推理基准，即 BigToM，来评估大型语言模型的社交推理能力，发现 GPT4 具有反映人类推理模式的理论思维能力，但不够可靠，而其他 LLM 则表现较差。

    Jun, 2023

  • 揭示大语言模型中的心智理论：与人脑单个神经元的相似

    大型语言模型展现出与人类理论心智联系紧密的特征，与人脑大脑网络中的神经元相似，通过类似方法检验了嵌入在语言模型中的人工神经元对他人信念的代表能力，揭示了模型与人脑神经元之间的相似之处。

    Sep, 2023

  • 大型语言模型与具备心智理论的智能体相距多远？

    人类可以从观察中推断他人的心理状态，然后从实用角度出发对这些推断进行干预。针对大型语言模型（LLMs）的新的评估范式——Thinking for Doing（T4D）要求模型将对他人心理状态的推断与社交情境中的行动联系起来。我们提出了一种零样本提示框架——Foresee and Reflect（FaR），该框架能够鼓励LLMs预测未来的挑战并合理推断潜在行动，从而提高GPT-4在T4D上的性能。

    Oct, 2023

  • HI-TOM：评估大型语言模型中高阶心智推理的基准

    人的心智理论(TOM)能力是人类推理自己及他人心智状态的能力，在智力发展、语言理解及认知过程中起着关键作用。本研究引入了HI-TOM，较高阶的心智理论基准。实验结果表明，基于大型语言模型(LLM)的性能在较高阶心智理论任务上出现下降，展示了现有LLM的局限性。我们对LLM不同失败案例进行了详细分析，并就我们的发现对自然语言处理未来的影响进行了讨论。

    Oct, 2023

  • ToMBench：大型语言模型中的心智理论基准测试

    大语言模型（LLMs）在理解和归因自我和他人的心智状态方面尚未达到人类水平，因此我们引入ToMBench评估框架以实现对LLMs的ToM能力的高效和有效评估。

    Feb, 2024

  • 观点属于我，也属于你：使用共同基础理论对心智进行基准测试

    通过自然发生的口语对话构建首个基于一般认知论 (ToM) 的数据集 Common-ToM，研究表明语言模型在表现 ToM 时存在困难，但通过融合简单明确的信念表示可以提高语言模型在 Common-ToM 上的性能。

    Mar, 2024

  • LLMs在高阶心理理论任务上达到成年人类表现

    研究分析了大型语言模型 (LLMs) 是否已经具有更高阶的心智理论 (ToM) 社会心智能力，通过引入多阶心智问答手写测试集并将其用于与新收集的成年人基准进行比较，我们发现 GPT-4 和 Flan-PaLM 在总体上达到了成年水平或接近成年水平的 ToM 任务表现，并且 GPT-4 在第六阶推理上超过了成年人的表现。研究结果表明，模型规模和微调在实现 ToM 能力方面存在相互作用，而表现最佳的 LLMs 已经发展出了一种普适的 ToM 能力。鉴于高阶 ToM 在广泛的人类合作和竞争行为中发挥的角色，这些发现对于面向用户的 LLM 应用具有重要意义。

    May, 2024

  • 用手术刀剖析Ullman变体：为何LLMs在对错误信念任务的微小改动中失败？

    通过引入SCALPEL技术，我们发现使得明显的常规推理明确的修改（如透明物体的观察意味着识别其内容）能保持大型语言模型的性能，暗示大型语言模型在修改的心智任务上的失败可能是由于缺乏更一般的常识推理，而不是对心理状态的表示失败。我们认为SCALPEL可以对解释大型语言模型在其他情况下的成功和失败有所帮助。

    Jun, 2024

  • 语言模型中心理状态表征的基准测试

    用各种语言模型和不同的模型大小、微调方法和提示设计进行广泛的基准测试，研究了心理状态表征的鲁棒性和记忆问题，并首次研究了提示变化对心智任务的探测性能的影响。结果表明，模型对他人信念的内部表征质量随模型大小和微调的增加而提高。此外，我们证明了模型的表征对提示的变化非常敏感，即使这些变化本应有益。最后，通过引导模型的激活，成功改善了模型的推理性能，无需训练任何探测器。

    Jun, 2024