ChatGPT 是否具备情感对话能力?
本文详细评估了 ChatGPT 在 11 个数据集上的心理健康分析和情感推理能力,分析了不同提示策略对其分析能力和可解释性的影响,并发现情感提示可以有效提高其性能,但需要正确的情感注入方式。
Apr, 2023
本技术报告探讨了 ChatGPT 在从文本中识别情感方面的能力,这可以作为交互式聊天机器人、数据注释和心理健康分析等各种应用的基础。通过实验证明了 ChatGPT 在情感识别方面具有合理的可重复性,通过微调可以明显提高其性能。然而,性能会随不同的情感标签和数据集而异,突显了固有的不稳定性和潜在的偏差。数据集和情感标签的选择对 ChatGPT 的情感识别性能具有显著影响。本文阐明了数据集和标签选择的重要性,以及通过微调提高 ChatGPT 情感识别能力的潜力,为使用 ChatGPT 的应用程序中更好地整合情感分析奠定了基础。
Oct, 2023
我们研究了 ChatGPT 基于 GPT-3.5 如何展示共情响应和情感表达的程度,分析了理解和表达情感、平行情感回应和共情个性三个方面,结果显示在 91.7%的情况下,ChatGPT 能够正确识别情绪并产生适当的回答,并在 70.7%的对话中做出相应的情感反应,尽管 ChatGPT 的共情能力仍然低于健康人群的平均水平,但得分优于被诊断为阿斯伯格综合征 / 高功能自闭症的人群。
Aug, 2023
研究论文通过对 ChatGPT 及其最新版本 GPT-4 与人类生成的情感场景回应能力进行比较,探究了 ChatGPT 在回应不同情绪场景(正面和负面)时的共情水平。研究采用一项涉及 600 名参与者的组间研究来评估 ChatGPT 和人类生成的回应的共情程度。研究发现,ChatGPT 所生成的回应的平均共情评分比人类生成的回应高出约 10%。此外,明确要求 ChatGPT 在回应中融入对共情认知、情感和同情的明确理解,使其回应与具有较高共情度的个体的期望更为接近,相比之下,人类回应的一致性要小 5 倍。该研究提出的评估框架可用于评估较大的语言模型的共情能力,并且具有可扩展性和适应性,避免了未来研究中重复当前研究结果的需要。
Feb, 2024
基于 ChatGPT 模型的广泛研究评估了 GPT-4 和 GPT-3.5 在 13 个影响计算问题上的性能,发现它们在涉及情感、情绪和毒性等问题上表现出色,但在涉及隐性信号的问题上表现较差,如参与度测量和主观性检测。
Aug, 2023
本文主要评估了 ChatGPT 在文本分类中的能力,尤其针对情感计算问题,实验结果显示,虽然 ChatGPT 表现良好,但相对于 RoBERTa 来说还有一个较大的提升空间。
Mar, 2023
本研究探讨了 OpenAI 开发的 ChatGPT 技术在业务、教育等 10 个领域的应用、机会和威胁,介绍了 ChatGPT 的技术特点,以及对 GPT-3.5 和 GPT-4 的实验研究结果。虽然 ChatGPT 的生成自然语言对话的能力优异,但是它没有很高的理解力、同理心和创造力,不能在大多数情况下完全取代人类。
Apr, 2023
在本文中,研究人员探索了 ChatGPT 的新颖知识,在融合现有的自然语言处理技术时,如早期或晚期融合,增强了情感计算、自杀倾向检测和大五人格评估等问题的现有技术的能力。
Jul, 2023
本文研究了 ChatGPT 在 25 个多样化的自然语言处理任务(如情感分析、情感识别、态度检测、自然语言推断、词义消歧、语言可接受性和问答)中的表现及其个性化响应能力,并与现有的国际先进水平(SOTA)解决方案进行了比较。结果表明,任务难度越高(低 SOTA 表现),ChatGPT 的损失越大。同时也揭示了 ChatGPT 偏见,在一定程度上限制了 ChatGPT 的有效性。
Feb, 2023
本文研究了大型语言模型(尤其是生成预训练变压器)在各种语言相关任务上显示出的令人印象深刻的结果。我们探索了 ChatGPT 仅通过提示就能够执行情感计算任务的零点能力。我们显示 ChatGPT a)能够在价值、唤起和支配维度上执行有意义的情绪分析,b)在情绪类别和这些情感维度方面具有有意义的情感表示,以及 c)可以根据基于提示的 OCC 评估模型的计算实现,对情况进行基本的评估引发情绪的操作。这些发现具有很高的相关性:首先,它们表明解决复杂的情感处理任务的能力源于对广泛数据集进行基于语言的标记预测的训练。其次,它们显示了大型语言模型模拟、处理和分析人类情绪的潜力,这对于诸如情感分析、社交互动代理和社交机器人等各种应用具有重要意义。
Sep, 2023