COLINGFeb, 2024

课程学习结合有向无环图进行多模态情感识别

PDF
TL;DR本文提出了一种多模态对话情感识别的新方法 MultiDAG+CL，该方法利用有向无环图 (DAG) 在统一框架中集成了文本、声学和视觉特征。该模型通过课程学习 (Curriculum Learning) 改善了情感变化和数据不平衡的挑战，逐渐呈现有意义顺序的训练样本来提高模型在处理情感变化和数据不平衡方面的性能，在 IEMOCAP 和 MELD 数据集上的实验结果表明，MultiDAG+CL 模型优于基准模型。
发现论文，激发创造
  • 面向会话情感识别的有向无环图网络

    介绍了一种基于有向无环图（DAG）进行对话建模的方法，通过设计一个有向无环神经网络 （DAG-ERC）来实现，其提供了更直观的模型，能够更好地模拟长距离对话背景和近距离上下文之间的信息流，并以四个情感识别基准测试集为例，结果表明该模型的优越性以及有向无环图结构在情感识别上的潜在价值。

    May, 2021

  • 简单模型同样有效：一种基于课程学习策略的文本对话情绪识别网络

    我们提出了一种基于课程学习策略的新型情感识别网络（ERNetCL），它通过结合前期方法的优点以简洁的方式高效地捕捉对话中的时序和空间上下文信息，并利用课程学习的思想逐步优化网络参数。在四个数据集上进行的大量实验表明，我们的方法有效地击败了其他基准模型。

    Aug, 2023

  • 对话情感识别的混合式课程学习

    本研究提出了一种以情绪识别为中心的混合课程学习框架，其中包括对话级别和话语级别课程。使用情感转移频率对对话进行排序并逐步强化模型对混淆情感的识别能力，我们观察到该模型跨多个 ERC 数据集显著提高了性能，达到了新的最先进水平。

    Dec, 2021

  • 情感锚点对比学习框架在对话中的情感识别

    在对话中进行情感识别（ERC）意味着检测每个话语背后的情感。有效生成话语的表示仍然是这项任务中的一个重大挑战。最近的研究提出了各种模型来解决这个问题，但是仍然难以区分类似的情感，如兴奋和幸福。为了缓解这个问题，我们提出了一种情感锚定对比学习（EACL）框架，能够为相似的情感生成更具区分性的话语表示。为了实现这一目标，我们利用标签编码作为锚点来指导话语表示的学习，并设计了一个辅助损失来确保相似情感的锚点有效分离。另外，还提出了一个额外的适应过程，将锚点适应为有效的分类器，以提高分类性能。通过广泛的实验，我们提出的 EACL 框架实现了最新的情感识别性能，并在类似情感上表现出卓越的性能。我们的代码可在此 https 网址获得。

    Mar, 2024

  • DialogueGCN: 基于图卷积神经网络的对话情感识别

    本研究介绍了 Dialogue Graph Convolutional Network (DialogueGCN) 的方法，使用图神经网络来进行 Emotion recognition in conversation (ERC)，并通过解决当前循环神经网络方法存在的上下文传播问题来提高情感分类效果。

    Aug, 2019

  • InstructERC: 用检索多任务 LLMs 框架改革对话中的情感识别

    通过大型语言模型，我们提出了一种名为 InstructERC 的新方法，将情绪识别对话（ERC）任务从辨别性框架改为生成性框架，通过引入简单而有效的检索模板模块以及两个额外的情绪对齐任务，显式地整合多层次的对话监督信息和隐含的对话角色关系和未来情绪趋势，从而显著提高了性能，在三个常用的 ERC 数据集上达到了全面的 SOTA 水平。

    Sep, 2023

  • 对话情绪识别中的聚类级对比学习

    提出了一种低维度的监督聚类级对比学习（SCCL）方法，将高维度的语义空间转换为三维的情感表示空间（VAD），通过聚类对比学习来融合可量化的情绪原型，利用预先训练的知识适配器来丰富上下文和模拟对话，从而在不同的数据集上实现了新的最先进的情感识别结果。

    Feb, 2023

  • 众包标注数据的语音情感识别课程学习

    该研究提出了一种方法，旨在通过针对对情感识别的深度神经网络（DNN）的训练过程进行有针对性的课程设计来最大化其效率。

    May, 2018

  • LineConGraphs：利用图神经网络进行有效情感识别的线性对话图

    情感识别对话（ERC）是情感计算的重要方面，它在医疗保健、教育、聊天机器人和社交媒体平台等方面具有许多实际应用。我们提出了适用于 ERC 分析的新型线性对话图卷积网络（LineConGCN）和图注意力（LineConGAT）模型，并评估了模型在两个基准数据集上的表现，证明了 LineConGAT 模型在 F1 得分为 64.58％和 76.50％的情况下优于最先进的方法。此外，我们还证明将情感变化信息嵌入到对话图中进一步提高了 GCN 模型的 ERC 性能。

    Dec, 2023

  • 通过情感跨模态融合和类间对比学习提升对话中的情感识别

    基于向量连接的跨模态融合情感预测网络，包括多模态特征融合阶段和基于融合特征的情感分类阶段，同时设计了基于情感标签的监督式跨类对比学习模块，实验证实了该方法的有效性，并在 IEMOCAP 和 MELD 数据集上展现出优异的性能。

    May, 2024