Dec, 2023

基于深度学习的多模态对话情感识别综合调查

PDF
TL;DR综述了多模式对话情感识别的建模方法，大致划分为无上下文建模、顺序上下文建模、说话人差异建模和说话人关系建模四个类别，并讨论了多模式特征提取方法、应用领域、挑战和未来发展方向。希望能够帮助研究人员理解当前情感识别研究的现状，提供一些启示，并开发出更高效的模型。
发现论文，激发创造
  • 对话中多模式情感识别的深度不平衡学习

    通过设计多模态生成对抗网络、深度联合变分自编码器和多任务图神经网络等方法，提出了一种处理情感识别中数据不平衡的模型，取得了跨模态情感识别的一定性能改进，尤其在恐惧和厌恶情绪标签的准确性和 F1 值上提高了 10％到 20％。

    Dec, 2023

  • 通过情感跨模态融合和类间对比学习提升对话中的情感识别

    基于向量连接的跨模态融合情感预测网络，包括多模态特征融合阶段和基于融合特征的情感分类阶段，同时设计了基于情感标签的监督式跨类对比学习模块，实验证实了该方法的有效性，并在 IEMOCAP 和 MELD 数据集上展现出优异的性能。

    May, 2024

  • M3ER：使用面部、文本和语音线索的乘法多模态情感识别

    提出了一种基于多个输入模态的学习方法 M3ER，旨在实现情绪识别，其采用数据驱动的乘积融合方法来结合来自多个模态的线索，抑制噪音，提高准确性，并取得了成功的实验验证。

    Nov, 2019

  • 文本对话中的深度情感识别：一项调查

    介绍情感识别和相关挑战和机遇。然后描述了主要的情感分类法和应对主观性注释的方法。接着详细阐述了深度学习方法以及处理任务性能指标和不平衡 ERC 数据的方法。最后，对关键 ERC 工作进行了描述和基准测试，并比较了它们在不同数据集上的方法和性能。强调利用技术解决不平衡数据、探索多种情感和在学习阶段融入注释主观性的好处。

    Nov, 2022

  • 基于多任务学习和多模态动态融合网络的语音情感识别

    本文提出了一种多模态多任务学习的情感识别方法，包括文本和声学模态的早期融合和自我注意力，使用动态融合网络用于语音编码器，得到了目前最先进的性能结果。

    Mar, 2022

  • 情感形状：通过情感变化在对话中进行多模态情感识别

    本文提出了一种多模态 ERC 模型，并在其上添加了情感转移组件以提高性能，在 MOSEI 和 IEMOCAP 数据集上的结果表明，情感转移信号的加入有助于该模型优于现有的 ERC 模型。

    Dec, 2021

  • 使用高级音频和文本特征的多模态情感识别

    本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

    Sep, 2021

  • 基于图卷积网络的强化学习中的情感识别的实时多模态环境

    本文介绍一种创新的使用图卷积网络和强化学习的上下文化情感识别模型，通过对话分组和提取多模态特征实时识别多模态对话信号中的情感。与其他最先进的模型相比，该模型在 IEMOCAP 基准数据集上展现出了识别实时多模态对话信号中情感的优势。

    Oct, 2023

  • 基于多模态融合网络的对话情感识别技术（M2FNet）

    本篇研究利用多模态方法提高情感识别的准确性，提出了一种多模态融合网络 M2FNet，利用视觉、音频和文本模态提取情感相关特征，并使用多头注意力机制进行融合。经实验验证，该方法在 MELD 和 IEMOCAP 数据集上表现显著优于其他方法，达到了情感识别领域的最新性能表现。

    Jun, 2022

  • 论会话多模态情感识别中模态和语境的解绑和融合

    在对话情景下，针对 MM-ERC（对话中的多模态情感分析）的任务，本研究通过多模态特征解缠和融合，同时模型特征的多模态性和对话背景的建模，以推动任务表现，提出了一种双层解缠机制和特征融合机制，成功地在两个公共数据集上实现了最新的最优性能，并通过进一步的分析证明了这些机制对提升 MM-ERC 任务的帮助，并具有促进其他多模态对话任务的潜力。

    Aug, 2023