Mar, 2024

从用户言辞中读懂他们的内心：基于 LLM 的共情性心智推断研究

PDF
TL;DR本研究调查了使用大型语言模型（LLMs）进行心理推断任务，特别是推断用户的潜在目标和基本心理需求（FPNs）的应用。实验结果表明，LLMs 能够推断和理解用户的潜在目标和 FPNs，具有与人类设计师相当的性能，为增强共情设计方法的可扩展性提供了有希望的途径。
human-centered designuser experiencesempathic understandinglarge language modelsempathic design approaches
发现论文，激发创造
  • 机器能与人类共鸣吗？评估语言模型的情感和共情理解能力

    通过人类交互动态的深度相互关联，人类关怀在促进亲社会行为方面起着关键作用，然而，利用自然语言处理方法对关怀进行建模仍然具有挑战性。从我们对提高语言模型中理解关怀的追求出发，我们提出了几种策略，包括在掩码语言模型中进行对比学习以及使用大型语言模型进行监督微调。尽管这些方法相对于以往的方法展示出了改进，但整体结果仍然不令人满意。为了更好地理解这一趋势，我们进行了分析，发现标注者之间存在低一致性。这种缺乏共识阻碍了训练，并强调了任务的主观性。我们还探讨了注释对文化的影响。为了研究这一点，我们精心收集了乌尔都语的故事对，并发现在解释标注者之间的关怀时主观性似乎与文化背景无关。我们对语言模型对关怀理解的系统探索所获得的见解表明，在任务制定和建模方面还有相当大的探索空间。

    Jun, 2024

  • 利用大型语言模型的潜力进行共情回应的生成：实证研究和改进

    大型语言模型在培养有同理心的对话、构建和谐社会关系以及发展有帮助的人工智能方面具有至关重要的作用。本研究通过实证调查了大型语言模型在生成有同理心的回应方面的性能，并提出了三种改进方法：语义上下文学习、两阶段交互生成和与知识库的结合。广泛的实验证明，我们的方法能够显著改善大型语言模型的性能，在自动评估和人工评估方面达到最先进的水平。此外，我们还探索了 GPT-4 模型模拟人工评估者的可能性。

    Oct, 2023

  • 利用大型语言模型的共情回应生成能力支持在线心理健康咨询

    本研究通过比较五款大型语言模型（LLMs）生成的相应和传统对话系统及人工生成的相应，发现 LLMs 在大多数情景中表现出更高的同理心，从而探索并验证 LLMs 在模拟心理咨询对话中生成同理心回应的能力。

    Oct, 2023

  • MentalLLaMA: 基于大型语言模型的社交媒体可解释性心理健康分析

    开发了第一个用于社交媒体上的可解释性心理健康分析的开源语言模型系列 MentalLLaMA，并通过 IMHI 数据集在正确性和解释质量方面接近最先进的判别方法。

    Sep, 2023

  • 关于在心理健康应用中重新思考大型语言模型

    大型语言模型在心理健康方面表现出很大的潜力，但使用它们时需要保持谨慎和考虑，把它们视为辅助人类专业技术而非替代品，因为它们可能产生幻觉般的输出，并且在心理健康咨询中，人类辅导员的情感理解、细致解读和背景意识仍然不可替代。

    Nov, 2023

  • 将生理数据与大型语言模型集成用于共情的人工智能与人类交互

    通过将生理数据与大型语言模型（LLMs）相结合，探索增强共情的方法。我们提出了一种生理计算方法，包括开发利用生理数据识别心理状态的深度学习模型，并将预测的状态与 LLMs 集成以进行共情交互。我们展示了这种方法在一个基于共情 LLM 聊天机器人用于压力监测和控制的应用。我们还讨论了一项副研究的结果，评估该 EmLLM 聊天机器人准确预测用户压力、提供类人回应以及评估与用户的治疗联盟的能力。

    Apr, 2024

  • 感觉麻木还是有同理心？通过 EmotionBench 评估 LLMs 的感受

    利用心理学中的情感评估理论，我们提出了一种评估大型语言模型（LLMs）的同理心能力的方法，通过在具体情境中观察其感受变化。我们收集了超过 400 个情境，根据 8 种情绪将其分成 36 个因素，并进行了包含超过 1200 名全球参与者的人工评价实验。研究结果显示，尽管存在一些偏差，LLMs 总体能够适当地对特定情况做出反应，但仍然无法与人类的情绪行为建立联系。我们公开了情境数据集、人工评估结果以及我们的测试框架 EmotionBench 的代码，旨在提高 LLMs 在与人类情绪行为的对齐方面的应用价值和实用性。

    Aug, 2023

  • 大型语言模型可以提供认知重评，如果有指导

    通过使用心理学实践中的认知重评方式，本研究设计出一种具有高级心理能力的大型语言模型，经过专家评估证实，即使是由 RESORT 引导的规模为 7B 的大型语言模型也能够生成能够帮助用户认知重评自身情况的共情回应。

    Apr, 2024

  • 大型语言模型是否比人类更具移情能力？

    本研究通过与人类基准对比的方式，综合评估了四个最先进的大型语言模型（GPT-4、LLaMA-2、Mixtral-8x7B 和 Gemini-Pro）在共 2000 个情感对话提示中的回应中的移情能力。我们的发现显示，大型语言模型在移情回应能力上显著超过人类，其中 GPT-4 的回应被评为 “好” 的比例比人类基准提高了约 31%。此外，我们发现不同的大型语言模型在回应不同情感时表现显著不同。基于研究结果，我们提出了一种可扩展和可适应的评估框架，用于评估新大型语言模型的移情能力，避免了未来研究中重复这项研究的需求。

    Jun, 2024

  • 大型语言模型产生被认为是有同理心的回应

    大型语言模型（LLMs）在许多任务中表现出了令人惊讶的性能，包括撰写表达共情的支持性信息。我们在这里让这些模型生成对描述常见生活经历的帖子的共情信息，例如职场环境、育儿、人际关系和其他引发焦虑和愤怒的情境。通过两项研究（N=192，202），我们向人类评估者展示了几个模型（GPT4 Turbo、Llama2 和 Mistral）生成的各种回应，并要求他们评估这些回应的共情程度。我们发现 LLM 生成的回应在共情程度上一直被评为比人工撰写的回应更具共情性。语言分析还表明，这些模型在标点符号、表情符号和某些词语的使用方面具有独特、可预测的 “风格”。这些结果凸显了在强调共情的情境中利用 LLMs 提升人类同伴支持的潜力。

    Mar, 2024