DER-GCN: 多模态对话情感识别中的对话和事件关系感知图卷积神经网络

Dec, 2023

DER-GCN: 多模态对话情感识别中的对话和事件关系感知图卷积神经网络

DER-GCN: Dialogue and Event Relation-Aware Graph Convolutional Neural Network for Multimodal Dialogue Emotion Recognition

PDF

Wei Ai, Yuntao Shou, Tao Meng, Keqin Li

TL;DR提出了一种新颖的基于对话和事件关系感知的图卷积神经网络用于多模态情感识别，该方法通过建立加权多关系图来捕捉说话者之间的对话关系和事件关系，设计了多重信息变换器以捕捉不同关系之间的相关性，通过对比学习的损失优化策略增强了少数类特征的表示学习能力。实验证明，DER-GCN 模型在情感识别方面显著提高了平均准确率和 F1 值。

Abstract

With the continuous development of deep learning (DL), the task of multimodal dialogue emotion recognition (MDER) has recently received extensive research attention, which is also an essential branch of DL. The M

multimodal dialogue emotion recognition deep learning event relations graph convolutional neural network emotion recognition

发现论文，激发创造

MMGCN：使用深度图卷积神经网络进行多模态融合的对话情绪识别

研究提出了一种基于多模态融合图卷积网络的情感识别模型，该模型能够更有效地利用多模态和长距离语境信息，并利用说话人信息对说话人之间和说话人内部依存关系进行建模，实验结果表明该模型在多模态交互下表现优异。

Jul, 2021

高效远距离潜在关系感知的多模态情感识别对话图神经网络

本文提出了一种用于对话中多模态情绪识别的高效远程潜在关系感知图神经网络（ELR-GNN），通过捕捉全局话语之间的潜在依赖关系和语义关联，结合早期融合和自适应后期融合机制，实现了情感预测，并在 IEMOCAP 和 MELD 基准数据集上取得了最先进的性能，分别将运行时间减少了 52% 和 35%。

Jun, 2024

DialogueGCN: 基于图卷积神经网络的对话情感识别

本研究介绍了 Dialogue Graph Convolutional Network (DialogueGCN) 的方法，使用图神经网络来进行 Emotion recognition in conversation (ERC)，并通过解决当前循环神经网络方法存在的上下文传播问题来提高情感分类效果。

Aug, 2019

基于深度学习的多模态对话情感识别综合调查

综述了多模式对话情感识别的建模方法，大致划分为无上下文建模、顺序上下文建模、说话人差异建模和说话人关系建模四个类别，并讨论了多模式特征提取方法、应用领域、挑战和未来发展方向。希望能够帮助研究人员理解当前情感识别研究的现状，提供一些启示，并开发出更高效的模型。

Dec, 2023

对话中多模式情感识别的深度不平衡学习

通过设计多模态生成对抗网络、深度联合变分自编码器和多任务图神经网络等方法，提出了一种处理情感识别中数据不平衡的模型，取得了跨模态情感识别的一定性能改进，尤其在恐惧和厌恶情绪标签的准确性和 F1 值上提高了 10％到 20％。

Dec, 2023

基于图卷积网络的强化学习中的情感识别的实时多模态环境

本文介绍一种创新的使用图卷积网络和强化学习的上下文化情感识别模型，通过对话分组和提取多模态特征实时识别多模态对话信号中的情感。与其他最先进的模型相比，该模型在 IEMOCAP 基准数据集上展现出了识别实时多模态对话信号中情感的优势。

Oct, 2023

MM-DFN：用于对话情感识别的多模态动态融合网络

本文提出了一种新的多模态动态融合网络（MM-DFN），用于在对话中全面理解多模态的情境信息，通过设计新的基于图的动态融合模块来减少信息冗余并增强不同语义空间中的上下文信息的补充性，对两个公共基准数据集进行了广泛的实验，证明了 MM-DFN 的有效性和优越性。

Mar, 2022

基于关系时间图神经网络和辅助跨模态交互的对话理解

通过模态特异性的方式，CORECT 有效地捕捉了会话级的跨模态交互和话语级的时间依赖性，以提高情感识别的效果。

Nov, 2023

基于上下文化图神经网络的多模态情感识别 COGMEN

本文提出了一种基于上下文图神经网络的多模态情感识别系统 (COGMEN)，该模型利用本地信息和全局信息来模拟对话中复杂的依赖关系，并通过 IEMOCAP 和 MOSEI 数据集取得了最优结果。

May, 2022

基于图对比学习的双阶段多模态情感识别模型

我们提出了一种基于图形对比学习的两阶段情感识别模型（TS-GCL），通过将多模态数据与其他结构引入图形对比学习（GCL）策略，来学习模态内部和模态之间的相似性和差异性，并且通过两次使用 MLP 来实现最终的情感分类，实验证明，TS-GCL 在 IEMOCAP 和 MELD 数据集上相对于以往的方法具有卓越性能。

Jan, 2024