Feb, 2024

共情对话回复的多维度评估

PDF
TL;DR提出了一个多维度的共情评估框架，该框架可以测量发言者表达意图以及听众感知到的共情，这两个维度之间存在相互关联，而感知到的共情与对话会话的满意程度有很高的相关性。为了自动测量对话中的共情，进行了不同的建模选项，包括使用预置的大型语言模型和基于序列到序列语言模型的分类器。经过广泛实验，表明使用序列到序列语言模型进行指导微调的分类器相对于之前的研究和竞争基准具有最好的性能。最后，对所提出的分类器的性能进行了全面的消融研究，并提出了将其作为自动对话共情评估指标的建议。
empathyconversational empathyevaluation frameworklanguage modelsclassifiers
发现论文，激发创造
  • EMP-EVAL：一个在开放域对话中评估情感共鸣的框架

    本文提出了一种名为 EMP-EVAL 的自动衡量共情的方法，该方法结合了情感、认知和情感共情，能够减少人工评估的需求并且与人类判断具有可比性。实验结果表明，我们的指标可以与人类喜好相关联。

    Jan, 2023

  • 共情式对话系统：现有进展、差距和机遇综述

    本研究通过五个评估维度研究人们在对话系统中尝试引入共情时所存在的关键点和未来机会，发现用户建模和对用户情感的检测和鉴别是需要进一步研究的核心问题；同时，处理多模式输入，显示更细腻的共情行为，以及包括其他对话系统特征也是需要关注的问题。

    May, 2022

  • 移情对话：上下文对话的多层数据集

    本研究建立了感同身受情感对话数据集，收集了受访者的特征、新闻文章引发的自我报告的同理心反应、对谈伙伴的他人报告，以及对话中表达的自我披露、情感和同理心等信息，旨在探讨不同形式的同理心与其他情感现象及人口统计学因素之间的关系，提供了预测这些特征的基线模型。

    May, 2022

  • 口语对话中移情注解和建模

    本文提出并评估了一种情感识别标注方案，通过构建自动分割和分类系统，通过调查语言和声学空间中的特征来识别通话中的共情。该系统在呼叫中心对话中表现出明显的优异性能。

    May, 2017

  • 情感回应生成的理论驱动数据集构建与优化

    我们提出了一种新方法，利用理论驱动的偏好数据集和优化算法来对齐 LLMs，以提高情感回应生成的质量和模型的泛化性能，并通过 EmpatheticDialogues 数据集以及 diff-EPITOME 和 BERTscore 指标来评估其效果。

    Jun, 2024

  • 利用大型语言模型的潜力进行共情回应的生成：实证研究和改进

    大型语言模型在培养有同理心的对话、构建和谐社会关系以及发展有帮助的人工智能方面具有至关重要的作用。本研究通过实证调查了大型语言模型在生成有同理心的回应方面的性能，并提出了三种改进方法：语义上下文学习、两阶段交互生成和与知识库的结合。广泛的实验证明，我们的方法能够显著改善大型语言模型的性能，在自动评估和人工评估方面达到最先进的水平。此外，我们还探索了 GPT-4 模型模拟人工评估者的可能性。

    Oct, 2023

  • 面向共情的开放领域对话模型：新基准和数据集

    本文提出了一个新的共情对话生成指标和一个基于具有情感情境的 25k 个会话的新数据集 EmpatheticDialogues，实验表明使用我们的数据集的对话模型被人类评估员认为比仅在大规模互联网对话数据上训练的模型更具有移情能力，同时还通过实验比较了对情感回应进行的对话模型调整，利用现有模型或数据集而无需重新训练完整模型

    Nov, 2018

  • 基于计算的方法了解文本心理健康支持中的同理心表达

    本文介绍了一种基于计算方法的框架来理解在线心理健康平台上的情感表达，通过收集和共享大量语料来训练 RoBERTa-based bi-encoder 模型，成功识别出含有改善情感的会话，揭示用户无法通过自我学习获得改善情感能力，为情感培训和反馈提供机会。

    Sep, 2020

  • 人类社交对话中共情回应意图的分类

    该研究提出一种使用对话意图建模和情感分类的混合方法来提高对话生成系统的响应质量和可控性，并采用信息可视化方法分析人类开放域对话中的情感模式和情感分类。

    Dec, 2020

  • 建模对话中的共情调和

    通过计算实验，我们向你介绍了一种基于评价理论的识别共情言语中对齐过程的新方法，并证明了这些评价和对齐可以被准确地识别。在超过 9.2M 的 Reddit 会话实验中，我们发现评价能够捕捉行为的有意义的分组，但大多数回应的对齐程度很小。然而，我们发现心理健康专业人士在共情对齐方面参与得更多。

    May, 2024