针对语言模型(缺乏)心智理论的插接式多角色信念追踪器
通过神经激活语言模型,线性解码不同代理人的信念状态,发现其内部包含了自我和他人信念的表征,这些表征对社会推理过程具有关键作用,同时在不同因果推理模式的多种社会推理任务中表现出潜在的泛化能力。
Feb, 2024
机器学习中的神经心智理论 (N-ToM) 是理解和跟踪他人心理状态的关键,本研究构建了一个新的基准 OpenToM,通过长而清晰的叙述、具有明确人格特征的角色以及挑战人工智能模型对心理和心理世界中角色心理状态建模能力的设计提出了一些问题,揭示了最先进的模型在物理世界中对心理状态的建模方面表现出色,但在心理世界中的心理状态跟踪方面表现不足。
Feb, 2024
本研究为了衡量 Theory of Mind(意念)在语言学习中的影响,在现有 ToM 的版本上,建立了能够融合 ToM 的语言学习代理,并通过实验,证实高度融合 ToM listener 组件的训练,可以在图像指称游戏环境中获得更好的性能,这表明在计算语言习得中进一步结合 ToM 以及儿童语言习得研究的潜在效用。
Mar, 2023
大语言模型(LLMs)在理解和归因自我和他人的心智状态方面尚未达到人类水平,因此我们引入 ToMBench 评估框架以实现对 LLMs 的 ToM 能力的高效和有效评估。
Feb, 2024
通过设计 Theory of Mind (ToM)神经网络,该网络利用元学习从行为观察中建模遇到的智能体,从而学习模拟其他智能体在其世界中的行为,它是发展多智能体 AI 系统、构建机器人与人类交互技术和推进可解释 AI 进步的一个重要步骤。
Feb, 2018
我们通过测试 11 种基于基础模型和指令调整模型的能力来探讨大型语言模型(LLMs)在理解意图和信念(即心智理论)等认知能力方面的程度。我们发现,GPT 系列的调整模型表现优于其他模型和儿童。基础模型大多无法解决心智理论任务,即使有专门的提示。我们认为,语言和心智理论的互相关联可能解释了指令调整模型的增加:奖励考虑到对话者和语境的合作性交流。最后,我们呼吁在 LLMs 中对心智理论保持一个细致的观点。
Oct, 2023
本文从经验和理论角度出发,探究了现代 NLP 系统中的社交智能和心理理论的问题,并使用 SocialIQa 和 ToMi 任务检验了 GPT-3 的社交智能和 Theory of Mind 的能力,结果表明 GPT-3 在这些任务中存在严重的不足,进而考虑从人为中心的 NLP 方法入手可能会更加有效。
Oct, 2022
通过对多个语言模型进行人类 “心灵理论” 测试,研究发现自 2020 年发布的 GPT-3 版本以来语言模型在解决伪信念问题上的表现已经逐渐逼近人类的表现水平
Feb, 2023
通过仿真理论的视角引导框架 SimToM,在 Theory of Mind (ToM) 的背景下,改进了大型语言模型(LLMs)的推理能力,无需额外训练和大量提示微调,从而实现了对 ToM 能力的显著提升。
Nov, 2023
我们的研究通过引入符号执行器和微调技术,改进了大型语言模型在心智理论推理中的表现,并通过对比实验证明了我们的方法对于推理能力的显著提升。
Apr, 2024