Feb, 2024

ChatGPT 是否比人类更具同理心？

PDF
TL;DR研究论文通过对 ChatGPT 及其最新版本 GPT-4 与人类生成的情感场景回应能力进行比较，探究了 ChatGPT 在回应不同情绪场景（正面和负面）时的共情水平。研究采用一项涉及 600 名参与者的组间研究来评估 ChatGPT 和人类生成的回应的共情程度。研究发现，ChatGPT 所生成的回应的平均共情评分比人类生成的回应高出约 10％。此外，明确要求 ChatGPT 在回应中融入对共情认知、情感和同情的明确理解，使其回应与具有较高共情度的个体的期望更为接近，相比之下，人类回应的一致性要小 5 倍。该研究提出的评估框架可用于评估较大的语言模型的共情能力，并且具有可扩展性和适应性，避免了未来研究中重复当前研究结果的需要。
empathetic respondingchatgptevaluation methodologyempathylarge language models
发现论文，激发创造
  • 探寻 ChatGPT 的共情能力

    我们研究了 ChatGPT 基于 GPT-3.5 如何展示共情响应和情感表达的程度，分析了理解和表达情感、平行情感回应和共情个性三个方面，结果显示在 91.7％的情况下，ChatGPT 能够正确识别情绪并产生适当的回答，并在 70.7％的对话中做出相应的情感反应，尽管 ChatGPT 的共情能力仍然低于健康人群的平均水平，但得分优于被诊断为阿斯伯格综合征 / 高功能自闭症的人群。

    Aug, 2023

  • 大型语言模型是否比人类更具移情能力？

    本研究通过与人类基准对比的方式，综合评估了四个最先进的大型语言模型（GPT-4、LLaMA-2、Mixtral-8x7B 和 Gemini-Pro）在共 2000 个情感对话提示中的回应中的移情能力。我们的发现显示，大型语言模型在移情回应能力上显著超过人类，其中 GPT-4 的回应被评为 “好” 的比例比人类基准提高了约 31%。此外，我们发现不同的大型语言模型在回应不同情感时表现显著不同。基于研究结果，我们提出了一种可扩展和可适应的评估框架，用于评估新大型语言模型的移情能力，避免了未来研究中重复这项研究的需求。

    Jun, 2024

  • ChatGPT 是否具备情感对话能力？

    本研究基于由 OpenAI 研发的先进语言模型 ChatGPT，探讨了其情感对话能力。研究通过一系列下游任务实验，评估了 ChatGPT 在情感对话理解和生成方面的表现，并发现虽然 ChatGPT 在情感对话理解方面的性能仍然存在问题，但在生成情感回应方面表现良好。此外，本研究还提出了未来研究方向的可能性。

    Apr, 2023

  • 人类与 ChatGPT 生成的对话的语言比较

    研究探讨人类和 LLM 生成的对话之间的语言差异，并使用 ChatGPT-3.5 生成的 19.5K 对话作为 EmpathicDialogues 数据集的补充。研究使用了语言查询和词频统计（LIWC）分析，在 118 个语言类别上比较 ChatGPT 生成的对话和人类对话。结果显示人类对话在可变性和真实性方面更出色，但 ChatGPT 在社交过程、分析风格、认知、注意力焦点和积极情绪方面表现优异，加强了 LLM “更接近人类” 的最新发现。然而，在正面或负面情感方面，ChatGPT 和人类对话之间没有显著差异。对话嵌入的分类器分析表明，尽管对话中未明确提及情感，但存在着情感价值的隐式编码。该研究还提供了一个新颖的 ChatGPT 生成的对话数据集，其中包含两个独立的聊天机器人之间的对话，这些对话旨在复制一个开放可访问的人类对话语料库，广泛应用于语言建模的 AI 研究。我们的研究结果增加了对 ChatGPT 的语言能力的理解，并为区分人类和 LLM 生成的文本的持续努力提供了信息，这对于检测由 AI 生成的虚假信息、错误信息和误导信息至关重要。

    Jan, 2024

  • ChatGPT 在情感计算任务上的广泛评估

    基于 ChatGPT 模型的广泛研究评估了 GPT-4 和 GPT-3.5 在 13 个影响计算问题上的性能，发现它们在涉及情感、情绪和毒性等问题上表现出色，但在涉及隐性信号的问题上表现较差，如参与度测量和主观性检测。

    Aug, 2023

  • 利用大型语言模型的潜力进行共情回应的生成：实证研究和改进

    大型语言模型在培养有同理心的对话、构建和谐社会关系以及发展有帮助的人工智能方面具有至关重要的作用。本研究通过实证调查了大型语言模型在生成有同理心的回应方面的性能，并提出了三种改进方法：语义上下文学习、两阶段交互生成和与知识库的结合。广泛的实验证明，我们的方法能够显著改善大型语言模型的性能，在自动评估和人工评估方面达到最先进的水平。此外，我们还探索了 GPT-4 模型模拟人工评估者的可能性。

    Oct, 2023

  • 使用真实世界的医生与患者互动评估大型语言模型的共情能力

    大型语言模型（LLMs）在医疗领域的整合潜在地可以通过开发具有共情能力，面向患者的聊天机器人，显著增强患者护理和支持。本研究调查了一个有趣的问题：相较于通常由医生提供的，ChatGPT 能否提供更高程度的共情回应？为了回答这个问题，我们从梅奥诊所收集了病人信息和医生回复的去标识化数据集，并使用 ChatGPT 生成了备选回复。我们的分析包括了一种新的共情评级（EMRank）评估方法，评估回复的共情程度，该方法涵盖了自动化指标和人工评估。我们的研究结果表明，由 LLM 驱动的聊天机器人在传递共情沟通方面有超过人类医生的潜力，这为增强患者护理和减少专业倦怠提供了有前景的途径。本研究不仅强调了患者互动中共情的重要性，还提出了一套有效的自动共情评级指标，为 LLM 在医疗领域更广泛的应用铺平了道路。

    May, 2024

  • ChatGPT 与人类专家的接近程度有多高？对比语料库、评估和检测

    本文通过收集并比对来自不同领域的问题，得出了 Human ChatGPT Comparison Corpus (HC3) 数据集，并评估了与人类专家相比 ChatGPT 的回答特点和差异，还提出了未来 LLMs 的研究方向，最终建立了三个不同的检测系统以检测 ChatGPT 的生成文本。

    Jan, 2023

  • 聊天机器人对话回应的评分

    在本文中，我们通过提交 60 个提问并基于三项机器翻译评分标准（BLEU，METEOR 和 ROUGE）对 ChatGPT 的回答进行了分析，结果显示出与人类典型反应相比，ChatGPT 在回复和翻译方面的能力虽然显著，但仍有所欠缺。

    Feb, 2023

  • GPT 是情感的计算模型吗？详细分析

    通过组件角度研究了 GPT 系列大型语言模型的情感推理能力。研究首先探讨了该模型对自传记忆的推理方式，其次系统地改变情境的各个方面以影响情感强度和应对倾向。研究结果表明，即使没有使用提示工程，GPT 的预测结果与人提供的评估和情感标签相一致。然而，GPT 在预测情感强度和应对反应方面面临困难。尽管在进行微小提示工程后表现出优越的结果，GPT-4 在第二项研究中表现不佳。这一评估引发了如何有效利用这些模型的优点和解决其弱点的问题，尤其是在响应变异性方面。这些研究突显了从组件角度评估模型的价值。

    Jul, 2023