Jun, 2024

高效远距离潜在关系感知的多模态情感识别对话图神经网络

PDF
TL;DR本文提出了一种用于对话中多模态情绪识别的高效远程潜在关系感知图神经网络（ELR-GNN），通过捕捉全局话语之间的潜在依赖关系和语义关联，结合早期融合和自适应后期融合机制，实现了情感预测，并在 IEMOCAP 和 MELD 基准数据集上取得了最先进的性能，分别将运行时间减少了 52% 和 35%。
发现论文，激发创造
  • MMGCN：使用深度图卷积神经网络进行多模态融合的对话情绪识别

    研究提出了一种基于多模态融合图卷积网络的情感识别模型，该模型能够更有效地利用多模态和长距离语境信息，并利用说话人信息对说话人之间和说话人内部依存关系进行建模，实验结果表明该模型在多模态交互下表现优异。

    Jul, 2021

  • 基于图卷积网络的强化学习中的情感识别的实时多模态环境

    本文介绍一种创新的使用图卷积网络和强化学习的上下文化情感识别模型，通过对话分组和提取多模态特征实时识别多模态对话信号中的情感。与其他最先进的模型相比，该模型在 IEMOCAP 基准数据集上展现出了识别实时多模态对话信号中情感的优势。

    Oct, 2023

  • DER-GCN: 多模态对话情感识别中的对话和事件关系感知图卷积神经网络

    提出了一种新颖的基于对话和事件关系感知的图卷积神经网络用于多模态情感识别，该方法通过建立加权多关系图来捕捉说话者之间的对话关系和事件关系，设计了多重信息变换器以捕捉不同关系之间的相关性，通过对比学习的损失优化策略增强了少数类特征的表示学习能力。实验证明，DER-GCN 模型在情感识别方面显著提高了平均准确率和 F1 值。

    Dec, 2023

  • LineConGraphs：利用图神经网络进行有效情感识别的线性对话图

    情感识别对话（ERC）是情感计算的重要方面，它在医疗保健、教育、聊天机器人和社交媒体平台等方面具有许多实际应用。我们提出了适用于 ERC 分析的新型线性对话图卷积网络（LineConGCN）和图注意力（LineConGAT）模型，并评估了模型在两个基准数据集上的表现，证明了 LineConGAT 模型在 F1 得分为 64.58％和 76.50％的情况下优于最先进的方法。此外，我们还证明将情感变化信息嵌入到对话图中进一步提高了 GCN 模型的 ERC 性能。

    Dec, 2023

  • DialogueGCN: 基于图卷积神经网络的对话情感识别

    本研究介绍了 Dialogue Graph Convolutional Network (DialogueGCN) 的方法，使用图神经网络来进行 Emotion recognition in conversation (ERC)，并通过解决当前循环神经网络方法存在的上下文传播问题来提高情感分类效果。

    Aug, 2019

  • 对话中多模式情感识别的深度不平衡学习

    通过设计多模态生成对抗网络、深度联合变分自编码器和多任务图神经网络等方法，提出了一种处理情感识别中数据不平衡的模型，取得了跨模态情感识别的一定性能改进，尤其在恐惧和厌恶情绪标签的准确性和 F1 值上提高了 10％到 20％。

    Dec, 2023

  • 基于关系时间图神经网络和辅助跨模态交互的对话理解

    通过模态特异性的方式，CORECT 有效地捕捉了会话级的跨模态交互和话语级的时间依赖性，以提高情感识别的效果。

    Nov, 2023

  • 上下文感知孪生网络在会话中高效的情感识别

    通过深度学习模型，本研究提出了一种基于度量学习和 Siamese 网络架构的方法来进行情感识别对话任务，取得了 57.71 的宏 F1 得分，相较于相关研究有了显著的提升。

    Apr, 2024

  • 从图谱谱域的角度重新审视对话中的多模态情感识别

    通过图谱视角，本文提出了基于图谱的多模态一致性和互补协同学习框架 GS-MCC，通过使用滑动窗口构建多模态交互图、利用高频和低频信息提取方法来反映长程一致性和互补性信息，并通过对比学习构建自监督信号，以提高高频和低频信息对实际情感的反映能力，最后将其输入 MLP 网络和 softmax 函数进行情感预测。在两个基准数据集上的广泛实验证明了 GS-MCC 架构的优越性。

    Apr, 2024

  • 基于多模态融合网络的对话情感识别技术（M2FNet）

    本篇研究利用多模态方法提高情感识别的准确性，提出了一种多模态融合网络 M2FNet，利用视觉、音频和文本模态提取情感相关特征，并使用多头注意力机制进行融合。经实验验证，该方法在 MELD 和 IEMOCAP 数据集上表现显著优于其他方法，达到了情感识别领域的最新性能表现。

    Jun, 2022