大语言模型（LLMs）在理解和归因自我和他人的心智状态方面尚未达到人类水平，因此我们引入 ToMBench 评估框架以实现对 LLMs 的 ToM 能力的高效和有效评估。

Feb, 2024

机器学习中的神经心智理论 (N-ToM) 是理解和跟踪他人心理状态的关键，本研究构建了一个新的基准 OpenToM，通过长而清晰的叙述、具有明确人格特征的角色以及挑战人工智能模型对心理和心理世界中角色心理状态建模能力的设计提出了一些问题，揭示了最先进的模型在物理世界中对心理状态的建模方面表现出色，但在心理世界中的心理状态跟踪方面表现不足。

Feb, 2024

FANToM 是一个基准测试，旨在通过问答来在信息非对称的对话环境中对心智理论进行压力测试。我们利用心理学的重要理论要求和评估大型语言模型时的必要实证考虑制定了多种类型的问题，以确定 LLM 中虚假或错误的心智能力。我们证明 FANToM 对于最先进的 LLM 来说具有挑战性，即使是具有思维连贯性或微调的模型也表现明显较差于人类。

Oct, 2023

我们通过在 6 个任务上进行广泛的评估，发现虽然 LLM 表现出某些神经理论社交认知能力，但这种行为远非稳健。我们进一步研究影响 N-ToM 任务表现的因素，并发现 LLM 难以应对对抗性例子，这表明它们依赖于浅层启发式算法，而非稳健的 ToM 能力。我们警告不要从个别例子、有限的基准测试和使用人设计的心理测试来评估模型。

May, 2023

大型语言模型（LLMs）在理论心理学的出现上引起了极大的兴趣和争议。我们通过心理学研究将机器的心理模拟（machine ToM）分为七个类别，并提出了一种更全面的评估方法，通过将 LLMs 放置在具体环境中进行评估，来避免捷径和数据泄露的风险。希望这篇观点论文能促进未来研究将机器 ToM 与 LLMs 结合起来，并为研究人员更好地定位自己的工作在 ToM 领域中提供一个直观的方式。

Oct, 2023

本文提出了 SymbolicToM，即一种通过显式符号表示来跟踪阅读理解任务中多个字符的信念状态、其对他字符信念状态估计及更高级别的推理的方法，该方法在 ToMi 基准测试中表现出了显著的理解能力提升。

Jun, 2023

通过研究大型语言模型在人机交互中的应用，本文探讨了理解机器生成行为的能力，特别是在承认他人心理状态方面，发现大型语言模型缺乏对无关紧要或微小变化的不变性。

Jan, 2024

为了发展具有人类级社交智能的机器，我们引入了一种多模式心智问答（MMToM-QA）基准，它综合评估机器的心智理解能力，并基于多模式数据和关于家庭环境中人物活动的不同类别的单模式数据。为了实现多模式心智能力，提出了一种新方法 BIP-ALM（基于语言模型的贝叶斯逆规划加速），它从多模式数据中提取统一的表示，并利用语言模型进行可扩展的贝叶斯逆规划。与人类表现、BIP-ALM 和包括 GPT-4 在内的先进模型进行了系统比较，实验表明大型语言模型和大型多模式模型仍然缺乏强大的心智理解能力，而 BIP-ALM 则通过利用基于模型的心智推理和语言模型的能力展现了有希望的结果。

Jan, 2024

通过自然发生的口语对话构建首个基于一般认知论 (ToM) 的数据集 Common-ToM，研究表明语言模型在表现 ToM 时存在困难，但通过融合简单明确的信念表示可以提高语言模型在 Common-ToM 上的性能。

Mar, 2024

本研究通过创建一个新的社交推理基准，即 BigToM，来评估大型语言模型的社交推理能力，发现 GPT4 具有反映人类推理模式的理论思维能力，但不够可靠，而其他 LLM 则表现较差。

Jun, 2023