May, 2024

LLM 理论的心智与协调性：机遇与风险

PDF
TL;DR大型语言模型在人机交互和人工智能方面的能力使他们能够以自然语言进行对话和推理，现在人们对于这些模型是否具备心智理论（ToM）的能力，即推理他人心理和情感状态的核心能力，产生了越来越多的兴趣。本研究通过对人类心智理论的角色和影响的文献进行探讨，识别出 LLM ToM 在个体和集体层面与人类互动中的关键领域，并指出了每个领域中所涉及的机会与风险。在个体层面上，本文考虑了 LLM ToM 在目标规范、对话适应、共情和拟人化方面的表现方式。在群体层面上，本文考虑了 LLM ToM 如何促进集体调适、合作或竞争以及道德判断。该研究阐述了一系列潜在的影响，并提出了未来研究的最急需关注的领域。
发现论文，激发创造
  • LLM 是否具备类人推理能力？评估 LLM 对开放性回答的心智理论

    利用 Reddit 的 ChangeMyView 平台的帖子，该研究评估了大型语言模型在处理心理理论推理时的能力，并通过提供人类意图和情感来增强模型表现，揭示了模型在开放式问题中与人类心理推理相比存在的差距。

    Jun, 2024

  • 利用语言模型理解语言模型中的社交推理

    本研究通过创建一个新的社交推理基准，即 BigToM，来评估大型语言模型的社交推理能力，发现 GPT4 具有反映人类推理模式的理论思维能力，但不够可靠，而其他 LLM 则表现较差。

    Jun, 2023

  • 人机交互中大型语言模型对心理理论的能力：一种幻象？

    通过研究大型语言模型在人机交互中的应用，本文探讨了理解机器生成行为的能力，特别是在承认他人心理状态方面，发现大型语言模型缺乏对无关紧要或微小变化的不变性。

    Jan, 2024

  • LLMs 在高阶心理理论任务上达到成年人类表现

    研究分析了大型语言模型 (LLMs) 是否已经具有更高阶的心智理论 (ToM) 社会心智能力，通过引入多阶心智问答手写测试集并将其用于与新收集的成年人基准进行比较，我们发现 GPT-4 和 Flan-PaLM 在总体上达到了成年水平或接近成年水平的 ToM 任务表现，并且 GPT-4 在第六阶推理上超过了成年人的表现。研究结果表明，模型规模和微调在实现 ToM 能力方面存在相互作用，而表现最佳的 LLMs 已经发展出了一种普适的 ToM 能力。鉴于高阶 ToM 在广泛的人类合作和竞争行为中发挥的角色，这些发现对于面向用户的 LLM 应用具有重要意义。

    May, 2024

  • 语言模型表达自我和他人的信念

    通过神经激活语言模型，线性解码不同代理人的信念状态，发现其内部包含了自我和他人信念的表征，这些表征对社会推理过程具有关键作用，同时在不同因果推理模式的多种社会推理任务中表现出潜在的泛化能力。

    Feb, 2024

  • 通过大型语言模型实现多智能体协作的心智理论

    评估了基于大型语言模型的多智能体协作文本游戏中的理论推理任务，并与多智能体强化学习和基于计划的基准进行比较。研究发现基于大型语言模型的智能体表现出紧密合作行为和高级理论推理能力，但也存在在管理长期视野环境和任务状态幻觉方面的规划优化限制。通过利用显式信念状态表示来减轻这些问题，改善了基于大型语言模型的智能体的任务表现和理论推理准确性。

    Oct, 2023

  • 共情与成为例外的权利：LLM 可以做和不能做的事情

    大语言模型（LLMs）的性能提升引发了研究者提出人工智能（AI）中心理理论（ToM）的出现。LLMs 能够赋予信念、欲望、意图和情感，并在准确性方面不断提高。我们探讨了 LLMs 无法产生共情是否妨碍了它们尊重个体作为例外的权利，即从个体性角度对人物性格和行为的评估和预测是否能够反映出适当的敏感性。我们提出了共情方法在尊重例外权利方面具有特殊意义，这与 LLMs 擅长的预测准确性价值不同。最后，我们考虑了使用共情来考虑例外情况的内在价值或实践价值，并介绍了推进这一调查的概念和实证途径。

    Jan, 2024

  • 大型语言模型的全面情境心智景观

    大型语言模型（LLMs）在理论心理学的出现上引起了极大的兴趣和争议。我们通过心理学研究将机器的心理模拟（machine ToM）分为七个类别，并提出了一种更全面的评估方法，通过将 LLMs 放置在具体环境中进行评估，来避免捷径和数据泄露的风险。希望这篇观点论文能促进未来研究将机器 ToM 与 LLMs 结合起来，并为研究人员更好地定位自己的工作在 ToM 领域中提供一个直观的方式。

    Oct, 2023

  • ToMBench：大型语言模型中的心智理论基准测试

    大语言模型（LLMs）在理解和归因自我和他人的心智状态方面尚未达到人类水平，因此我们引入 ToMBench 评估框架以实现对 LLMs 的 ToM 能力的高效和有效评估。

    Feb, 2024

  • 再三思考：透视改善大型语言模型的心理理论能力

    通过仿真理论的视角引导框架 SimToM，在 Theory of Mind (ToM) 的背景下，改进了大型语言模型（LLMs）的推理能力，无需额外训练和大量提示微调，从而实现了对 ToM 能力的显著提升。

    Nov, 2023