Oct, 2023

通过元认知提示违背预期减少大型语言模型中心理理论预测误差

PDF
TL;DR大语言模型（LLMs）在心灵理论（ToM）任务中表现出令人信服的水平，在人际认知中将不可观察的心理状态归因于他人是人类社会认知的关键之一，也在人与人工智能（AI）之间的委托关系中可能同样重要。本文探讨了一种发展心理学中研究的期望违反（VoE）机制如何通过利用出现的 ToM 便利来减少 LLM 对用户预测中的错误，并引入了一种 extit {元认知提示} 框架，将 VoE 应用于 AI 导师的背景中。通过存储和检索在 LLM 对用户的预期被违反的情况下得出的事实，我们发现 LLMs 能够以类似人类学习理论的方式了解用户。最后，我们讨论了建模用户心理的潜在风险和增强机会，并提出了减少风险的方法以及未来研究的可能方向。
large language modelstheory of mindviolation of expectationmetacognitive promptinguser psychology
发现论文，激发创造
  • 人机交互中大型语言模型对心理理论的能力：一种幻象？

    通过研究大型语言模型在人机交互中的应用，本文探讨了理解机器生成行为的能力，特别是在承认他人心理状态方面，发现大型语言模型缺乏对无关紧要或微小变化的不变性。

    Jan, 2024

  • 通过提示提高大型语言模型的心理理论表现

    本研究探讨在理解人的常识推理问题中，如何通过上下文学习和人类反馈和增强学习的方法来提高 LLMs（大型语言模型）的表现，结果表明适当的提示可以增强 LLMs ToM（心理理论）推理能力，这也强调了 LLMs 认知能力的依赖于上下文。

    Apr, 2023

  • 再三思考：透视改善大型语言模型的心理理论能力

    通过仿真理论的视角引导框架 SimToM，在 Theory of Mind (ToM) 的背景下，改进了大型语言模型（LLMs）的推理能力，无需额外训练和大量提示微调，从而实现了对 ToM 能力的显著提升。

    Nov, 2023

  • 揭示大语言模型中的心智理论：与人脑单个神经元的相似

    大型语言模型展现出与人类理论心智联系紧密的特征，与人脑大脑网络中的神经元相似，通过类似方法检验了嵌入在语言模型中的人工神经元对他人信念的代表能力，揭示了模型与人脑神经元之间的相似之处。

    Sep, 2023

  • 通过大型语言模型实现多智能体协作的心智理论

    评估了基于大型语言模型的多智能体协作文本游戏中的理论推理任务，并与多智能体强化学习和基于计划的基准进行比较。研究发现基于大型语言模型的智能体表现出紧密合作行为和高级理论推理能力，但也存在在管理长期视野环境和任务状态幻觉方面的规划优化限制。通过利用显式信念状态表示来减轻这些问题，改善了基于大型语言模型的智能体的任务表现和理论推理准确性。

    Oct, 2023

  • 语言模型表达自我和他人的信念

    通过神经激活语言模型，线性解码不同代理人的信念状态，发现其内部包含了自我和他人信念的表征，这些表征对社会推理过程具有关键作用，同时在不同因果推理模式的多种社会推理任务中表现出潜在的泛化能力。

    Feb, 2024

  • 大型语言模型中的心智理论：考察 11 种当前最先进模型与 7-10 岁儿童在高难度测试上的表现

    我们通过测试 11 种基于基础模型和指令调整模型的能力来探讨大型语言模型（LLMs）在理解意图和信念（即心智理论）等认知能力方面的程度。我们发现，GPT 系列的调整模型表现优于其他模型和儿童。基础模型大多无法解决心智理论任务，即使有专门的提示。我们认为，语言和心智理论的互相关联可能解释了指令调整模型的增加：奖励考虑到对话者和语境的合作性交流。最后，我们呼吁在 LLMs 中对心智理论保持一个细致的观点。

    Oct, 2023

  • 大型语言模型无法处理心智理论任务中的微小改变

    本文主要讨论机器智能领域中关于直觉心理与人类智能之间关系的研究，着重研究认知心理学中的模拟推理问题，并探讨可能的未来发展方向。

    Feb, 2023

  • PHAnToM: 大型语言模型中个性对心智理论推理的影响

    通过在大型语言模型中引入个性化的提示来诱导其特定的人格特质，研究发现这种引入显著影响了模型在心智理论推理任务中的推理能力。

    Mar, 2024

  • LLM 理论的心智与协调性：机遇与风险

    大型语言模型在人机交互和人工智能方面的能力使他们能够以自然语言进行对话和推理，现在人们对于这些模型是否具备心智理论（ToM）的能力，即推理他人心理和情感状态的核心能力，产生了越来越多的兴趣。本研究通过对人类心智理论的角色和影响的文献进行探讨，识别出 LLM ToM 在个体和集体层面与人类互动中的关键领域，并指出了每个领域中所涉及的机会与风险。在个体层面上，本文考虑了 LLM ToM 在目标规范、对话适应、共情和拟人化方面的表现方式。在群体层面上，本文考虑了 LLM ToM 如何促进集体调适、合作或竞争以及道德判断。该研究阐述了一系列潜在的影响，并提出了未来研究的最急需关注的领域。

    May, 2024