Jan, 2024

共情与成为例外的权利：LLM 可以做和不能做的事情

PDF
TL;DR大语言模型（LLMs）的性能提升引发了研究者提出人工智能（AI）中心理理论（ToM）的出现。LLMs 能够赋予信念、欲望、意图和情感，并在准确性方面不断提高。我们探讨了 LLMs 无法产生共情是否妨碍了它们尊重个体作为例外的权利，即从个体性角度对人物性格和行为的评估和预测是否能够反映出适当的敏感性。我们提出了共情方法在尊重例外权利方面具有特殊意义，这与 LLMs 擅长的预测准确性价值不同。最后，我们考虑了使用共情来考虑例外情况的内在价值或实践价值，并介绍了推进这一调查的概念和实证途径。
large language modelstheory of mindartificial intelligenceempathyexception
发现论文，激发创造
  • LLM 理论的心智与协调性：机遇与风险

    大型语言模型在人机交互和人工智能方面的能力使他们能够以自然语言进行对话和推理，现在人们对于这些模型是否具备心智理论（ToM）的能力，即推理他人心理和情感状态的核心能力，产生了越来越多的兴趣。本研究通过对人类心智理论的角色和影响的文献进行探讨，识别出 LLM ToM 在个体和集体层面与人类互动中的关键领域，并指出了每个领域中所涉及的机会与风险。在个体层面上，本文考虑了 LLM ToM 在目标规范、对话适应、共情和拟人化方面的表现方式。在群体层面上，本文考虑了 LLM ToM 如何促进集体调适、合作或竞争以及道德判断。该研究阐述了一系列潜在的影响，并提出了未来研究的最急需关注的领域。

    May, 2024

  • LLM 是否具备类人推理能力？评估 LLM 对开放性回答的心智理论

    利用 Reddit 的 ChangeMyView 平台的帖子，该研究评估了大型语言模型在处理心理理论推理时的能力，并通过提供人类意图和情感来增强模型表现，揭示了模型在开放式问题中与人类心理推理相比存在的差距。

    Jun, 2024

  • 感觉麻木还是有同理心？通过 EmotionBench 评估 LLMs 的感受

    利用心理学中的情感评估理论，我们提出了一种评估大型语言模型（LLMs）的同理心能力的方法，通过在具体情境中观察其感受变化。我们收集了超过 400 个情境，根据 8 种情绪将其分成 36 个因素，并进行了包含超过 1200 名全球参与者的人工评价实验。研究结果显示，尽管存在一些偏差，LLMs 总体能够适当地对特定情况做出反应，但仍然无法与人类的情绪行为建立联系。我们公开了情境数据集、人工评估结果以及我们的测试框架 EmotionBench 的代码，旨在提高 LLMs 在与人类情绪行为的对齐方面的应用价值和实用性。

    Aug, 2023

  • LLMs 在高阶心理理论任务上达到成年人类表现

    研究分析了大型语言模型 (LLMs) 是否已经具有更高阶的心智理论 (ToM) 社会心智能力，通过引入多阶心智问答手写测试集并将其用于与新收集的成年人基准进行比较，我们发现 GPT-4 和 Flan-PaLM 在总体上达到了成年水平或接近成年水平的 ToM 任务表现，并且 GPT-4 在第六阶推理上超过了成年人的表现。研究结果表明，模型规模和微调在实现 ToM 能力方面存在相互作用，而表现最佳的 LLMs 已经发展出了一种普适的 ToM 能力。鉴于高阶 ToM 在广泛的人类合作和竞争行为中发挥的角色，这些发现对于面向用户的 LLM 应用具有重要意义。

    May, 2024

  • 语言模型表达自我和他人的信念

    通过神经激活语言模型，线性解码不同代理人的信念状态，发现其内部包含了自我和他人信念的表征，这些表征对社会推理过程具有关键作用，同时在不同因果推理模式的多种社会推理任务中表现出潜在的泛化能力。

    Feb, 2024

  • 人机交互中大型语言模型对心理理论的能力：一种幻象？

    通过研究大型语言模型在人机交互中的应用，本文探讨了理解机器生成行为的能力，特别是在承认他人心理状态方面，发现大型语言模型缺乏对无关紧要或微小变化的不变性。

    Jan, 2024

  • 利用语言模型理解语言模型中的社交推理

    本研究通过创建一个新的社交推理基准，即 BigToM，来评估大型语言模型的社交推理能力，发现 GPT4 具有反映人类推理模式的理论思维能力，但不够可靠，而其他 LLM 则表现较差。

    Jun, 2023

  • 机器能与人类共鸣吗？评估语言模型的情感和共情理解能力

    通过人类交互动态的深度相互关联，人类关怀在促进亲社会行为方面起着关键作用，然而，利用自然语言处理方法对关怀进行建模仍然具有挑战性。从我们对提高语言模型中理解关怀的追求出发，我们提出了几种策略，包括在掩码语言模型中进行对比学习以及使用大型语言模型进行监督微调。尽管这些方法相对于以往的方法展示出了改进，但整体结果仍然不令人满意。为了更好地理解这一趋势，我们进行了分析，发现标注者之间存在低一致性。这种缺乏共识阻碍了训练，并强调了任务的主观性。我们还探讨了注释对文化的影响。为了研究这一点，我们精心收集了乌尔都语的故事对，并发现在解释标注者之间的关怀时主观性似乎与文化背景无关。我们对语言模型对关怀理解的系统探索所获得的见解表明，在任务制定和建模方面还有相当大的探索空间。

    Jun, 2024

  • 大型语言模型产生被认为是有同理心的回应

    大型语言模型（LLMs）在许多任务中表现出了令人惊讶的性能，包括撰写表达共情的支持性信息。我们在这里让这些模型生成对描述常见生活经历的帖子的共情信息，例如职场环境、育儿、人际关系和其他引发焦虑和愤怒的情境。通过两项研究（N=192，202），我们向人类评估者展示了几个模型（GPT4 Turbo、Llama2 和 Mistral）生成的各种回应，并要求他们评估这些回应的共情程度。我们发现 LLM 生成的回应在共情程度上一直被评为比人工撰写的回应更具共情性。语言分析还表明，这些模型在标点符号、表情符号和某些词语的使用方面具有独特、可预测的 “风格”。这些结果凸显了在强调共情的情境中利用 LLMs 提升人类同伴支持的潜力。

    Mar, 2024

  • 从用户言辞中读懂他们的内心：基于 LLM 的共情性心智推断研究

    本研究调查了使用大型语言模型（LLMs）进行心理推断任务，特别是推断用户的潜在目标和基本心理需求（FPNs）的应用。实验结果表明，LLMs 能够推断和理解用户的潜在目标和 FPNs，具有与人类设计师相当的性能，为增强共情设计方法的可扩展性提供了有希望的途径。

    Mar, 2024