Oct, 2023

利用大型语言模型的潜力进行共情回应的生成：实证研究和改进

HTML
PDF
TL;DR大型语言模型在培养有同理心的对话、构建和谐社会关系以及发展有帮助的人工智能方面具有至关重要的作用。本研究通过实证调查了大型语言模型在生成有同理心的回应方面的性能，并提出了三种改进方法：语义上下文学习、两阶段交互生成和与知识库的结合。广泛的实验证明，我们的方法能够显著改善大型语言模型的性能，在自动评估和人工评估方面达到最先进的水平。此外，我们还探索了 GPT-4 模型模拟人工评估者的可能性。
发现论文，激发创造
  • 人类社交对话中共情回应意图的分类

    该研究提出一种使用对话意图建模和情感分类的混合方法来提高对话生成系统的响应质量和可控性, 并采用信息可视化方法分析人类开放域对话中的情感模式和情感分类。

    Dec, 2020

  • 利用大型语言模型的共情回应生成能力支持在线心理健康咨询

    本研究通过比较五款大型语言模型（LLMs）生成的相应和传统对话系统及人工生成的相应，发现LLMs在大多数情景中表现出更高的同理心，从而探索并验证LLMs在模拟心理咨询对话中生成同理心回应的能力。

    Oct, 2023

  • 共情对话回复的多维度评估

    提出了一个多维度的共情评估框架，该框架可以测量发言者表达意图以及听众感知到的共情，这两个维度之间存在相互关联，而感知到的共情与对话会话的满意程度有很高的相关性。为了自动测量对话中的共情，进行了不同的建模选项，包括使用预置的大型语言模型和基于序列到序列语言模型的分类器。经过广泛实验，表明使用序列到序列语言模型进行指导微调的分类器相对于之前的研究和竞争基准具有最好的性能。最后，对所提出的分类器的性能进行了全面的消融研究，并提出了将其作为自动对话共情评估指标的建议。

    Feb, 2024

  • ChatGPT 是否比人类更具同理心?

    研究论文通过对ChatGPT及其最新版本GPT-4与人类生成的情感场景回应能力进行比较，探究了ChatGPT在回应不同情绪场景（正面和负面）时的共情水平。研究采用一项涉及600名参与者的组间研究来评估ChatGPT和人类生成的回应的共情程度。研究发现，ChatGPT所生成的回应的平均共情评分比人类生成的回应高出约10％。此外，明确要求ChatGPT在回应中融入对共情认知、情感和同情的明确理解，使其回应与具有较高共情度的个体的期望更为接近，相比之下，人类回应的一致性要小5倍。该研究提出的评估框架可用于评估较大的语言模型的共情能力，并且具有可扩展性和适应性，避免了未来研究中重复当前研究结果的需要。

    Feb, 2024

  • 将生理数据与大型语言模型集成用于共情的人工智能与人类交互

    通过将生理数据与大型语言模型（LLMs）相结合，探索增强共情的方法。我们提出了一种生理计算方法，包括开发利用生理数据识别心理状态的深度学习模型，并将预测的状态与LLMs集成以进行共情交互。我们展示了这种方法在一个基于共情LLM聊天机器人用于压力监测和控制的应用。我们还讨论了一项副研究的结果，评估该EmLLM聊天机器人准确预测用户压力、提供类人回应以及评估与用户的治疗联盟的能力。

    Apr, 2024

  • 使用真实世界的医生与患者互动评估大型语言模型的共情能力

    大型语言模型（LLMs）在医疗领域的整合潜在地可以通过开发具有共情能力，面向患者的聊天机器人，显著增强患者护理和支持。本研究调查了一个有趣的问题：相较于通常由医生提供的，ChatGPT能否提供更高程度的共情回应？为了回答这个问题，我们从梅奥诊所收集了病人信息和医生回复的去标识化数据集，并使用ChatGPT生成了备选回复。我们的分析包括了一种新的共情评级（EMRank）评估方法，评估回复的共情程度，该方法涵盖了自动化指标和人工评估。我们的研究结果表明，由LLM驱动的聊天机器人在传递共情沟通方面有超过人类医生的潜力，这为增强患者护理和减少专业倦怠提供了有前景的途径。本研究不仅强调了患者互动中共情的重要性，还提出了一套有效的自动共情评级指标，为LLM在医疗领域更广泛的应用铺平了道路。

    May, 2024

  • 大型语言模型是否比人类更具移情能力？

    本研究通过与人类基准对比的方式，综合评估了四个最先进的大型语言模型（GPT-4、LLaMA-2、Mixtral-8x7B 和 Gemini-Pro）在共 2000 个情感对话提示中的回应中的移情能力。我们的发现显示，大型语言模型在移情回应能力上显著超过人类，其中 GPT-4 的回应被评为“好”的比例比人类基准提高了约 31%。此外，我们发现不同的大型语言模型在回应不同情感时表现显著不同。基于研究结果，我们提出了一种可扩展和可适应的评估框架，用于评估新大型语言模型的移情能力，避免了未来研究中重复这项研究的需求。

    Jun, 2024

  • 情感回应生成的理论驱动数据集构建与优化

    我们提出了一种新方法，利用理论驱动的偏好数据集和优化算法来对齐LLMs，以提高情感回应生成的质量和模型的泛化性能，并通过EmpatheticDialogues数据集以及diff-EPITOME和BERTscore指标来评估其效果。

    Jun, 2024

  • 合成同理心：迈向高质量合成同理心数据

    本研究解决了同理心数据集不足和人工标注劳动浪费的问题，提出了一种基于大语言模型的合成同理心数据生成与质量选择管道Synth-Empathy。该方法自动生成高质量的同理心数据，并在多个基准测试中实现了最新的性能，展现了其在实际应用中的有效性和鲁棒性。

    Jul, 2024

  • 合成同理心：迈向高质量合成同理心数据

    本研究解决了同理心数据不足和人工标签浪费的问题，提出了一种基于大型语言模型的合成同理心数据生成和筛选方法Synth-Empathy。这一方法有助于自动生成高质量同理心数据，进一步提升同理心响应性能，且在多项评估基准上达到最新的优越表现，展示了其在实际应用中的有效性和鲁棒性。

    Jul, 2024