Apr, 2024

从图谱谱域的角度重新审视对话中的多模态情感识别

PDF
TL;DR通过图谱视角，本文提出了基于图谱的多模态一致性和互补协同学习框架 GS-MCC，通过使用滑动窗口构建多模态交互图、利用高频和低频信息提取方法来反映长程一致性和互补性信息，并通过对比学习构建自监督信号，以提高高频和低频信息对实际情感的反映能力，最后将其输入 MLP 网络和 softmax 函数进行情感预测。在两个基准数据集上的广泛实验证明了 GS-MCC 架构的优越性。
发现论文，激发创造
  • MMGCN：使用深度图卷积神经网络进行多模态融合的对话情绪识别

    研究提出了一种基于多模态融合图卷积网络的情感识别模型，该模型能够更有效地利用多模态和长距离语境信息，并利用说话人信息对说话人之间和说话人内部依存关系进行建模，实验结果表明该模型在多模态交互下表现优异。

    Jul, 2021

  • GraphCFC: 一种基于有向图的跨模态特征补充方法，用于多模态对话情感识别

    通过构建跨模态特征补充的有向图模型，利用多个子空间提取器和配对交叉模态补充策略，设计了一种直接的基于图神经网络的跨模态情感识别模块 (GraphCFC)，并测试表明该模块在情感识别任务上表现优于目前最先进的方法。

    Jul, 2022

  • 高效远距离潜在关系感知的多模态情感识别对话图神经网络

    本文提出了一种用于对话中多模态情绪识别的高效远程潜在关系感知图神经网络（ELR-GNN），通过捕捉全局话语之间的潜在依赖关系和语义关联，结合早期融合和自适应后期融合机制，实现了情感预测，并在 IEMOCAP 和 MELD 基准数据集上取得了最先进的性能，分别将运行时间减少了 52% 和 35%。

    Jun, 2024

  • 喜悦：多模态情感识别的联合模态融合和图对比学习

    通过多模态情感识别，我们提出了一种融合多模态、图对比学习的方法（Joyful），实现全局情境特征与单一模态特征的深度交互与融合，并在三个基准数据集上实验，显示 Joyful 具有最先进的性能。

    Nov, 2023

  • 基于图对比学习的双阶段多模态情感识别模型

    我们提出了一种基于图形对比学习的两阶段情感识别模型（TS-GCL），通过将多模态数据与其他结构引入图形对比学习（GCL）策略，来学习模态内部和模态之间的相似性和差异性，并且通过两次使用 MLP 来实现最终的情感分类，实验证明，TS-GCL 在 IEMOCAP 和 MELD 数据集上相对于以往的方法具有卓越性能。

    Jan, 2024

  • 多通道注意力图卷积神经网络结合情感融合进行多模态情感分析

    本文介绍了一个基于多通道注意力图卷积网络（MAGCN）的多模态情感分析框架，它将情感知识融合到跨模态交互学习中，并在多个数据集上实现了竞争性表现。

    Jan, 2022

  • MM-DFN：用于对话情感识别的多模态动态融合网络

    本文提出了一种新的多模态动态融合网络（MM-DFN），用于在对话中全面理解多模态的情境信息，通过设计新的基于图的动态融合模块来减少信息冗余并增强不同语义空间中的上下文信息的补充性，对两个公共基准数据集进行了广泛的实验，证明了 MM-DFN 的有效性和优越性。

    Mar, 2022

  • 基于上下文化图神经网络的多模态情感识别 COGMEN

    本文提出了一种基于上下文图神经网络的多模态情感识别系统 (COGMEN)，该模型利用本地信息和全局信息来模拟对话中复杂的依赖关系，并通过 IEMOCAP 和 MOSEI 数据集取得了最优结果。

    May, 2022

  • 基于图卷积网络的强化学习中的情感识别的实时多模态环境

    本文介绍一种创新的使用图卷积网络和强化学习的上下文化情感识别模型，通过对话分组和提取多模态特征实时识别多模态对话信号中的情感。与其他最先进的模型相比，该模型在 IEMOCAP 基准数据集上展现出了识别实时多模态对话信号中情感的优势。

    Oct, 2023

  • 利用深度学习技术捕捉语音情感识别的频谱和长时标语境信息

    本研究提出了一种综合模型，将图卷积网络（GCN）用于处理文本数据并利用 HuBERT 变换器分析音频信号，通过结合 GCN 和 HuBERT 模型，同时分析多模态数据并融合这些模态，提高了情感识别系统的辨别能力。

    Aug, 2023