大型语言模型是否知道人类所知道的?
通过神经激活语言模型,线性解码不同代理人的信念状态,发现其内部包含了自我和他人信念的表征,这些表征对社会推理过程具有关键作用,同时在不同因果推理模式的多种社会推理任务中表现出潜在的泛化能力。
Feb, 2024
通过对多个语言模型进行人类 “心灵理论” 测试,研究发现自 2020 年发布的 GPT-3 版本以来语言模型在解决伪信念问题上的表现已经逐渐逼近人类的表现水平
Feb, 2023
我们通过测试 11 种基于基础模型和指令调整模型的能力来探讨大型语言模型(LLMs)在理解意图和信念(即心智理论)等认知能力方面的程度。我们发现,GPT 系列的调整模型表现优于其他模型和儿童。基础模型大多无法解决心智理论任务,即使有专门的提示。我们认为,语言和心智理论的互相关联可能解释了指令调整模型的增加:奖励考虑到对话者和语境的合作性交流。最后,我们呼吁在 LLMs 中对心智理论保持一个细致的观点。
Oct, 2023
通过研究大型语言模型在人机交互中的应用,本文探讨了理解机器生成行为的能力,特别是在承认他人心理状态方面,发现大型语言模型缺乏对无关紧要或微小变化的不变性。
Jan, 2024
大型语言模型展现出与人类理论心智联系紧密的特征,与人脑大脑网络中的神经元相似,通过类似方法检验了嵌入在语言模型中的人工神经元对他人信念的代表能力,揭示了模型与人脑神经元之间的相似之处。
Sep, 2023
我们通过在 6 个任务上进行广泛的评估,发现虽然 LLM 表现出某些神经理论社交认知能力,但这种行为远非稳健。我们进一步研究影响 N-ToM 任务表现的因素,并发现 LLM 难以应对对抗性例子,这表明它们依赖于浅层启发式算法,而非稳健的 ToM 能力。我们警告不要从个别例子、有限的基准测试和使用人设计的心理测试来评估模型。
May, 2023
本研究为了衡量 Theory of Mind(意念)在语言学习中的影响,在现有 ToM 的版本上,建立了能够融合 ToM 的语言学习代理,并通过实验,证实高度融合 ToM listener 组件的训练,可以在图像指称游戏环境中获得更好的性能,这表明在计算语言习得中进一步结合 ToM 以及儿童语言习得研究的潜在效用。
Mar, 2023
大语言模型(LLMs)在理解和归因自我和他人的心智状态方面尚未达到人类水平,因此我们引入 ToMBench 评估框架以实现对 LLMs 的 ToM 能力的高效和有效评估。
Feb, 2024
研究分析了大型语言模型 (LLMs) 是否已经具有更高阶的心智理论 (ToM) 社会心智能力,通过引入多阶心智问答手写测试集并将其用于与新收集的成年人基准进行比较,我们发现 GPT-4 和 Flan-PaLM 在总体上达到了成年水平或接近成年水平的 ToM 任务表现,并且 GPT-4 在第六阶推理上超过了成年人的表现。研究结果表明,模型规模和微调在实现 ToM 能力方面存在相互作用,而表现最佳的 LLMs 已经发展出了一种普适的 ToM 能力。鉴于高阶 ToM 在广泛的人类合作和竞争行为中发挥的角色,这些发现对于面向用户的 LLM 应用具有重要意义。
May, 2024