ACLJul, 2024

TimeToM: 时空是解锁大型语言模型心灵理论之门的关键

PDF
TL;DRTimeToM 使用时间空间构建了 Temporal Belief State Chain (TBSC)，并设计了一个新型的 belief solver，通过考虑角色之间的信仰交流，在信仰交流期间将角色的高阶信念转化为另一个角色的一阶信念，从而显著提高了 LLMs 对 ToM 问题的推理性能。
发现论文，激发创造
  • 再三思考：透视改善大型语言模型的心理理论能力

    通过仿真理论的视角引导框架 SimToM，在 Theory of Mind (ToM) 的背景下，改进了大型语言模型（LLMs）的推理能力，无需额外训练和大量提示微调，从而实现了对 ToM 能力的显著提升。

    Nov, 2023

  • 通过离散世界模型的心智理论的复杂性概念

    量化并衡量 ToM 任务的复杂度，并提出一种改进模型性能的技术 Discrete World Models (DWM)。

    Jun, 2024

  • ToMBench：大型语言模型中的心智理论基准测试

    大语言模型（LLMs）在理解和归因自我和他人的心智状态方面尚未达到人类水平，因此我们引入 ToMBench 评估框架以实现对 LLMs 的 ToM 能力的高效和有效评估。

    Feb, 2024

  • HI-TOM：评估大型语言模型中高阶心智推理的基准

    人的心智理论 (TOM) 能力是人类推理自己及他人心智状态的能力，在智力发展、语言理解及认知过程中起着关键作用。本研究引入了 HI-TOM，较高阶的心智理论基准。实验结果表明，基于大型语言模型 (LLM) 的性能在较高阶心智理论任务上出现下降，展示了现有 LLM 的局限性。我们对 LLM 不同失败案例进行了详细分析，并就我们的发现对自然语言处理未来的影响进行了讨论。

    Oct, 2023

  • OpenToM: 评估大型语言模型理解他人心理思维能力的全面基准

    机器学习中的神经心智理论 (N-ToM) 是理解和跟踪他人心理状态的关键，本研究构建了一个新的基准 OpenToM，通过长而清晰的叙述、具有明确人格特征的角色以及挑战人工智能模型对心理和心理世界中角色心理状态建模能力的设计提出了一些问题，揭示了最先进的模型在物理世界中对心理状态的建模方面表现出色，但在心理世界中的心理状态跟踪方面表现不足。

    Feb, 2024

  • 针对语言模型（缺乏）心智理论的插接式多角色信念追踪器

    本文提出了 SymbolicToM，即一种通过显式符号表示来跟踪阅读理解任务中多个字符的信念状态、其对他字符信念状态估计及更高级别的推理的方法，该方法在 ToMi 基准测试中表现出了显著的理解能力提升。

    Jun, 2023

  • 语言模型表达自我和他人的信念

    通过神经激活语言模型，线性解码不同代理人的信念状态，发现其内部包含了自我和他人信念的表征，这些表征对社会推理过程具有关键作用，同时在不同因果推理模式的多种社会推理任务中表现出潜在的泛化能力。

    Feb, 2024

  • 利用语言模型理解语言模型中的社交推理

    本研究通过创建一个新的社交推理基准，即 BigToM，来评估大型语言模型的社交推理能力，发现 GPT4 具有反映人类推理模式的理论思维能力，但不够可靠，而其他 LLM 则表现较差。

    Jun, 2023

  • 记忆增强的心智理论网络

    该研究采用新颖的神经记忆机制和分层注意力相结合的方法设计了一个理论心智模型，ToMMY，使其能够快速准确地推断他人的意图、信念与将来的行为，进一步实验证明神经记忆机制可在高难度的虚假信念任务中提高心理理解的准确性。

    Jan, 2023

  • 通过心灵之眼理论：用多模态视频和大型语言模型阅读思维

    大型多模态模型能否拥有类似人类的情感和社交推理能力，以及这是如何实现的？近期研究已经发现了大型语言模型的浮现理论推理能力。通过解决各种基于文本的涉及认知理论（如人类信念、欲望和意图）的任务，语言模型能够推理人们的心理状态。然而，人类的推理能力通常基于动态场景和时间。因此，我们认为视频是一个检验时空认知推理能力的新媒介。我们通过使用视频和文本开发了一个基于多模态语言模型的推理管道，实现了对涉及社交和情感推理内容的视频的显性推理。同时，我们还通过检索回答推理问题所需的关键帧来启用显性认知推理，揭示了多模态语言模型如何推理认知理论。

    Jun, 2024