Nov, 2023

喜悦：多模态情感识别的联合模态融合和图对比学习

PDF
TL;DR通过多模态情感识别，我们提出了一种融合多模态、图对比学习的方法（Joyful），实现全局情境特征与单一模态特征的深度交互与融合，并在三个基准数据集上实验，显示 Joyful 具有最先进的性能。
multimodal emotion recognitiongraph-based methodsmodality fusioncontrastive learningbenchmark datasets
发现论文，激发创造
  • 利用内模态和外模态图对比学习进行多模态情感识别的对抗表示

    我们提出了一种新颖的对抗表示方法，采用内模态和跨模态图对比用于多模态情感识别，可显著提高情感识别准确率。

    Dec, 2023

  • 基于图对比学习的双阶段多模态情感识别模型

    我们提出了一种基于图形对比学习的两阶段情感识别模型（TS-GCL），通过将多模态数据与其他结构引入图形对比学习（GCL）策略，来学习模态内部和模态之间的相似性和差异性，并且通过两次使用 MLP 来实现最终的情感分类，实验证明，TS-GCL 在 IEMOCAP 和 MELD 数据集上相对于以往的方法具有卓越性能。

    Jan, 2024

  • 多模态情感识别中基于模态对无监督对比损失的方法

    本文提出了一种基于无监督特征学习且包括对比损失的多模式情感识别方法，该方法可以减少资料标注费用、提高精确度并且无需大批量样本。相关实验数据表明，本方法比许多基线方法和无监督学习方法在多模式情感识别上表现更好，甚至超越了当前某些有监督方法的表现。

    Jul, 2022

  • 多模态本地 - 全局排名融合情感识别

    研究了通过综合考虑人员独立和相对依赖角度进行情感识别的方法，该方法使用 Bayesian 排序算法推断全局相对情感排名，最终的情感识别是通过对直接预测和来自本地全局排序的相对情感排名的综合考虑而实现的。

    Aug, 2018

  • 从图谱谱域的角度重新审视对话中的多模态情感识别

    通过图谱视角，本文提出了基于图谱的多模态一致性和互补协同学习框架 GS-MCC，通过使用滑动窗口构建多模态交互图、利用高频和低频信息提取方法来反映长程一致性和互补性信息，并通过对比学习构建自监督信号，以提高高频和低频信息对实际情感的反映能力，最后将其输入 MLP 网络和 softmax 函数进行情感预测。在两个基准数据集上的广泛实验证明了 GS-MCC 架构的优越性。

    Apr, 2024

  • 语音情感识别的实证研究与改进

    本文提出了一种通过视角损失来改进的多模态语音情感识别模型，通过融合音频和文本信息来提高多模态任务的性能表现，在 IEMOCAP 数据集上获得了最新的最佳表现。

    Apr, 2023

  • 跨模态分布匹配的半监督多模态情感识别

    提出了一种基于跨模态分布匹配的半监督多模态情感识别模型，该模型利用丰富的未标记数据增强模型训练，实验结果表明该模型能够有效地结合多模态并利用未标记数据提高情感识别性能，并在同等条件下优于其他最先进的方法。

    Sep, 2020

  • 多模态情感分析中的单模编码和跨模态预测的多模态对比学习

    本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

    Oct, 2022

  • 基于文本为主的分层高阶融合的多视角多模态交互情感分析

    该研究提出了一种基于多模态信息的情感分析框架 ——InterMulti，并利用一种新颖的基于文本的 THHF 模块，将多种交互表现形式融合成综合的多模态交互表示来识别情感，实验结果表明，该方法的表现优于现有技术。

    Dec, 2022

  • 多模态情感识别和情感分析的多任务学习

    本文介绍了一个深度多任务学习框架，通过上下文级别的视听注意力机制来同时进行情感和表情分析，并在 CMU-MOSEI 数据集上达到了新的最佳性能。

    May, 2019