Dec, 2020

一种基于说话者建模的分层 Transformer 用于对话情感识别

PDF
TL;DR本文提出一种在语音对话中进行情绪识别的方法，利用 Transformer 和注意力机制设计三个不同的蒙版模拟传统上下文建模、扩展内部说话人和跨说话人的交互作用，以达到更好的预测效果。实验证明我们的方法可以有效提高情绪识别的性能。
emotion recognitionconversationspeaker modelingtransformerattention mechanism
发现论文，激发创造
  • 面向会话情感识别的说话者引导编码器 - 解码器框架

    本文提出了一种探索语音信息中内部和外部说话者依赖关系的新型说话者建模方案，并使用 Speaker-Guided 编码器 - 解码器框架来预测情感标签，证明了其在情感识别中的优越性和有效性。

    Jun, 2022

  • 基于上下文的嵌入式话语表示在对话情感识别中的应用

    基于 RoBERTa 编码器的上下文依赖嵌入话语表示法为核心的情感识别方法通过在分类模型中附加简单的分类模块来实现有效性，证明了这种方法在比复杂分类模块更有效的情境无关话语表示方法上表现更好。

    Apr, 2023

  • InstructERC: 用检索多任务 LLMs 框架改革对话中的情感识别

    通过大型语言模型，我们提出了一种名为 InstructERC 的新方法，将情绪识别对话（ERC）任务从辨别性框架改为生成性框架，通过引入简单而有效的检索模板模块以及两个额外的情绪对齐任务，显式地整合多层次的对话监督信息和隐含的对话角色关系和未来情绪趋势，从而显著提高了性能，在三个常用的 ERC 数据集上达到了全面的 SOTA 水平。

    Sep, 2023

  • 情感惯性与传染驱动的依赖模型：对话中情感识别

    本文提出了一种用于对话情感识别的新方法 EmotionIC，该方法驱动依赖建模，通过特征提取和分类级别实现情感识别，实验结果表明该方法在四个基准数据集上明显优于现有模型，证明了模块可以有效地模拟情感惯性和传染性。

    Mar, 2023

  • SI-LSTM: 会话中情感识别的说话人混合长短期记忆和跨模态注意力

    本研究提出了一种名为 “讲话者信息增强的长短时记忆（SI-LSTM）” 的递归结构，用于情感识别，可以在追踪对话中不同讲话者的情感状态的同时，通过交叉模态注意力机制将不同模态之间的信息结合起来，提高多模态数据情感识别任务的学习效果。在两个基准数据集上进行的实验结果表明，所提出的 SI-LSTM 模型在情感识别任务上具有优越的性能表现。

    May, 2023

  • 基于分层 Transformer 网络的话语级情感识别

    通过提出一种基于分层 Transformer 框架的情感识别方法，该方法结合了预训练语言模型和说话人嵌入，能在不同背景环境和不同说话人的情况下有效地捕捉言语的情感信息，实验结果表明该方法在三个对话数据集上分别取得了 1.98％、2.83％和 3.94％的 F1 宏平均分数提升。

    Feb, 2020

  • 基于自我蒸馏的多模态会话情感识别的 Transformer 模型

    本文提出了一种基于自蒸馏 (SDT) 的基于变压器模型，该模型通过利用变压器来捕捉内部和跨模式之间的相互作用，并通过设计分层门控融合策略来动态学习模式之间的权重，并将所提出模型的软标签作为额外的训练监督，从而学习更具表现力的模式表示，实验证明 SDT 在 IEMOCAP 和 MELD 数据集上优于之前的最先进基线模型。

    Oct, 2023

  • 文本对话中的深度情感识别：一项调查

    介绍情感识别和相关挑战和机遇。然后描述了主要的情感分类法和应对主观性注释的方法。接着详细阐述了深度学习方法以及处理任务性能指标和不平衡 ERC 数据的方法。最后，对关键 ERC 工作进行了描述和基准测试，并比较了它们在不同数据集上的方法和性能。强调利用技术解决不平衡数据、探索多种情感和在学习阶段融入注释主观性的好处。

    Nov, 2022

  • 基于语境信息和常识的对话情感识别

    提出了一种新的基于提示和语言模型调整的情感识别模型 CISPER，通过融入上下文信息、交往者情感以及常识知识等要素，可以更加准确地识别对话中的情感表达，明显超过当前最优解。

    Jul, 2022

  • 通过情感跨模态融合和类间对比学习提升对话中的情感识别

    基于向量连接的跨模态融合情感预测网络，包括多模态特征融合阶段和基于融合特征的情感分类阶段，同时设计了基于情感标签的监督式跨类对比学习模块，实验证实了该方法的有效性，并在 IEMOCAP 和 MELD 数据集上展现出优异的性能。

    May, 2024