Feb, 2024

OpenToM: 评估大型语言模型理解他人心理思维能力的全面基准

PDF
TL;DR机器学习中的神经心智理论 (N-ToM) 是理解和跟踪他人心理状态的关键，本研究构建了一个新的基准 OpenToM，通过长而清晰的叙述、具有明确人格特征的角色以及挑战人工智能模型对心理和心理世界中角色心理状态建模能力的设计提出了一些问题，揭示了最先进的模型在物理世界中对心理状态的建模方面表现出色，但在心理世界中的心理状态跟踪方面表现不足。
发现论文，激发创造
  • ToMBench：大型语言模型中的心智理论基准测试

    大语言模型（LLMs）在理解和归因自我和他人的心智状态方面尚未达到人类水平，因此我们引入 ToMBench 评估框架以实现对 LLMs 的 ToM 能力的高效和有效评估。

    Feb, 2024

  • 针对语言模型（缺乏）心智理论的插接式多角色信念追踪器

    本文提出了 SymbolicToM，即一种通过显式符号表示来跟踪阅读理解任务中多个字符的信念状态、其对他字符信念状态估计及更高级别的推理的方法，该方法在 ToMi 基准测试中表现出了显著的理解能力提升。

    Jun, 2023

  • NegotiationToM: 一种用于测试机器思考他人心态的谈判基准

    使用 NegotiationToM 基准测试表明，尽管使用了思维链式方法（CoT method），目前最先进的大型语言模型在人类情况下的表现明显较差。

    Apr, 2024

  • HI-TOM：评估大型语言模型中高阶心智推理的基准

    人的心智理论 (TOM) 能力是人类推理自己及他人心智状态的能力，在智力发展、语言理解及认知过程中起着关键作用。本研究引入了 HI-TOM，较高阶的心智理论基准。实验结果表明，基于大型语言模型 (LLM) 的性能在较高阶心智理论任务上出现下降，展示了现有 LLM 的局限性。我们对 LLM 不同失败案例进行了详细分析，并就我们的发现对自然语言处理未来的影响进行了讨论。

    Oct, 2023

  • 利用语言模型理解语言模型中的社交推理

    本研究通过创建一个新的社交推理基准，即 BigToM，来评估大型语言模型的社交推理能力，发现 GPT4 具有反映人类推理模式的理论思维能力，但不够可靠，而其他 LLM 则表现较差。

    Jun, 2023

  • 神经心智理论？关于大型语言模型社交智能的限制

    本文从经验和理论角度出发，探究了现代 NLP 系统中的社交智能和心理理论的问题，并使用 SocialIQa 和 ToMi 任务检验了 GPT-3 的社交智能和 Theory of Mind 的能力，结果表明 GPT-3 在这些任务中存在严重的不足，进而考虑从人为中心的 NLP 方法入手可能会更加有效。

    Oct, 2022

  • 通过离散世界模型的心智理论的复杂性概念

    量化并衡量 ToM 任务的复杂度，并提出一种改进模型性能的技术 Discrete World Models (DWM)。

    Jun, 2024

  • MindGames: 利用动态认识模态逻辑针对大型语言模型的心灵游戏

    本文通过运用动态认知逻辑以生成更为复杂的问题，以及新颖的语言表述技术来表达这些问题，研究表明 70M 到 6B 和 350M 到 174B 的语言模型规模并不总是比随机投票更好，并且 GPT-4 表现出了更优秀的认知推理能力，但仍有待提高。

    May, 2023

  • Clever Hans 或神经心理理论？在大型语言模型中进行社交推理的应力测试

    我们通过在 6 个任务上进行广泛的评估，发现虽然 LLM 表现出某些神经理论社交认知能力，但这种行为远非稳健。我们进一步研究影响 N-ToM 任务表现的因素，并发现 LLM 难以应对对抗性例子，这表明它们依赖于浅层启发式算法，而非稳健的 ToM 能力。我们警告不要从个别例子、有限的基准测试和使用人设计的心理测试来评估模型。

    May, 2023

  • 大型语言模型的全面情境心智景观

    大型语言模型（LLMs）在理论心理学的出现上引起了极大的兴趣和争议。我们通过心理学研究将机器的心理模拟（machine ToM）分为七个类别，并提出了一种更全面的评估方法，通过将 LLMs 放置在具体环境中进行评估，来避免捷径和数据泄露的风险。希望这篇观点论文能促进未来研究将机器 ToM 与 LLMs 结合起来，并为研究人员更好地定位自己的工作在 ToM 领域中提供一个直观的方式。

    Oct, 2023