大语言模型（LLMs）在理解和归因自我和他人的心智状态方面尚未达到人类水平，因此我们引入 ToMBench 评估框架以实现对 LLMs 的 ToM 能力的高效和有效评估。

Feb, 2024

通过对多个语言模型进行人类 “心灵理论” 测试，研究发现自 2020 年发布的 GPT-3 版本以来语言模型在解决伪信念问题上的表现已经逐渐逼近人类的表现水平

Feb, 2023

本文提出了 SymbolicToM，即一种通过显式符号表示来跟踪阅读理解任务中多个字符的信念状态、其对他字符信念状态估计及更高级别的推理的方法，该方法在 ToMi 基准测试中表现出了显著的理解能力提升。

Jun, 2023

本研究提出了一个新的数据集，旨在评估问答模型在理解信仰和状态一致性方面的推理能力，评估多个带有记忆增强的神经模型，发现这些模型在需要跟踪世界不一致状态的任务中均失败，而且当试验中引入随机句子时，模型的准确性明显下降。

Aug, 2018

本文综述了近年来关于机器 Theory of Mind（ToM）在信仰、欲望和意图方面的进展，概括了不同任务和数据集的发展，并比较了具有优势、局限性和适用条件的模型。我们认为，提出标准的评估标准和数据集，特别是覆盖了 ToM 多个方面的大规模数据集，是解决这种困难的方法之一。

Mar, 2023

本文通过运用动态认知逻辑以生成更为复杂的问题，以及新颖的语言表述技术来表达这些问题，研究表明 70M 到 6B 和 350M 到 174B 的语言模型规模并不总是比随机投票更好，并且 GPT-4 表现出了更优秀的认知推理能力，但仍有待提高。

May, 2023

量化并衡量 ToM 任务的复杂度，并提出一种改进模型性能的技术 Discrete World Models (DWM)。

Jun, 2024

机器学习中的神经心智理论 (N-ToM) 是理解和跟踪他人心理状态的关键，本研究构建了一个新的基准 OpenToM，通过长而清晰的叙述、具有明确人格特征的角色以及挑战人工智能模型对心理和心理世界中角色心理状态建模能力的设计提出了一些问题，揭示了最先进的模型在物理世界中对心理状态的建模方面表现出色，但在心理世界中的心理状态跟踪方面表现不足。

Feb, 2024

我们通过测试 11 种基于基础模型和指令调整模型的能力来探讨大型语言模型（LLMs）在理解意图和信念（即心智理论）等认知能力方面的程度。我们发现，GPT 系列的调整模型表现优于其他模型和儿童。基础模型大多无法解决心智理论任务，即使有专门的提示。我们认为，语言和心智理论的互相关联可能解释了指令调整模型的增加：奖励考虑到对话者和语境的合作性交流。最后，我们呼吁在 LLMs 中对心智理论保持一个细致的观点。

Oct, 2023

人的心智理论 (TOM) 能力是人类推理自己及他人心智状态的能力，在智力发展、语言理解及认知过程中起着关键作用。本研究引入了 HI-TOM，较高阶的心智理论基准。实验结果表明，基于大型语言模型 (LLM) 的性能在较高阶心智理论任务上出现下降，展示了现有 LLM 的局限性。我们对 LLM 不同失败案例进行了详细分析，并就我们的发现对自然语言处理未来的影响进行了讨论。

Oct, 2023