语言模型表达自我和他人的信念
本文提出了 SymbolicToM,即一种通过显式符号表示来跟踪阅读理解任务中多个字符的信念状态、其对他字符信念状态估计及更高级别的推理的方法,该方法在 ToMi 基准测试中表现出了显著的理解能力提升。
Jun, 2023
大型语言模型展现出与人类理论心智联系紧密的特征,与人脑大脑网络中的神经元相似,通过类似方法检验了嵌入在语言模型中的人工神经元对他人信念的代表能力,揭示了模型与人脑神经元之间的相似之处。
Sep, 2023
我们通过测试 11 种基于基础模型和指令调整模型的能力来探讨大型语言模型(LLMs)在理解意图和信念(即心智理论)等认知能力方面的程度。我们发现,GPT 系列的调整模型表现优于其他模型和儿童。基础模型大多无法解决心智理论任务,即使有专门的提示。我们认为,语言和心智理论的互相关联可能解释了指令调整模型的增加:奖励考虑到对话者和语境的合作性交流。最后,我们呼吁在 LLMs 中对心智理论保持一个细致的观点。
Oct, 2023
通过研究大型语言模型在人机交互中的应用,本文探讨了理解机器生成行为的能力,特别是在承认他人心理状态方面,发现大型语言模型缺乏对无关紧要或微小变化的不变性。
Jan, 2024
本研究通过创建一个新的社交推理基准,即 BigToM,来评估大型语言模型的社交推理能力,发现 GPT4 具有反映人类推理模式的理论思维能力,但不够可靠,而其他 LLM 则表现较差。
Jun, 2023
大语言模型(LLMs)在理解和归因自我和他人的心智状态方面尚未达到人类水平,因此我们引入 ToMBench 评估框架以实现对 LLMs 的 ToM 能力的高效和有效评估。
Feb, 2024
通过评估大量语言暴露对理解心灵理论的影响,发现语言的统计学学习能够部分解释人类认知发展中心灵理论的发展,但是其他机制也起到重要作用,因为最先进的语言模型 GPT-3 尽管暴露于更多的语言环境下,但其表现并不能完全解释人类的行为
Sep, 2022
大型多模态模型能否拥有类似人类的情感和社交推理能力,以及这是如何实现的?近期研究已经发现了大型语言模型的浮现理论推理能力。通过解决各种基于文本的涉及认知理论(如人类信念、欲望和意图)的任务,语言模型能够推理人们的心理状态。然而,人类的推理能力通常基于动态场景和时间。因此,我们认为视频是一个检验时空认知推理能力的新媒介。我们通过使用视频和文本开发了一个基于多模态语言模型的推理管道,实现了对涉及社交和情感推理内容的视频的显性推理。同时,我们还通过检索回答推理问题所需的关键帧来启用显性认知推理,揭示了多模态语言模型如何推理认知理论。
Jun, 2024
评估了基于大型语言模型的多智能体协作文本游戏中的理论推理任务,并与多智能体强化学习和基于计划的基准进行比较。研究发现基于大型语言模型的智能体表现出紧密合作行为和高级理论推理能力,但也存在在管理长期视野环境和任务状态幻觉方面的规划优化限制。通过利用显式信念状态表示来减轻这些问题,改善了基于大型语言模型的智能体的任务表现和理论推理准确性。
Oct, 2023
大型语言模型在人机交互和人工智能方面的能力使他们能够以自然语言进行对话和推理,现在人们对于这些模型是否具备心智理论(ToM)的能力,即推理他人心理和情感状态的核心能力,产生了越来越多的兴趣。本研究通过对人类心智理论的角色和影响的文献进行探讨,识别出 LLM ToM 在个体和集体层面与人类互动中的关键领域,并指出了每个领域中所涉及的机会与风险。在个体层面上,本文考虑了 LLM ToM 在目标规范、对话适应、共情和拟人化方面的表现方式。在群体层面上,本文考虑了 LLM ToM 如何促进集体调适、合作或竞争以及道德判断。该研究阐述了一系列潜在的影响,并提出了未来研究的最急需关注的领域。
May, 2024