Jan, 2024

基于图对比学习的双阶段多模态情感识别模型

PDF
TL;DR我们提出了一种基于图形对比学习的两阶段情感识别模型（TS-GCL），通过将多模态数据与其他结构引入图形对比学习（GCL）策略，来学习模态内部和模态之间的相似性和差异性，并且通过两次使用 MLP 来实现最终的情感分类，实验证明，TS-GCL 在 IEMOCAP 和 MELD 数据集上相对于以往的方法具有卓越性能。
发现论文，激发创造
  • 喜悦：多模态情感识别的联合模态融合和图对比学习

    通过多模态情感识别，我们提出了一种融合多模态、图对比学习的方法（Joyful），实现全局情境特征与单一模态特征的深度交互与融合，并在三个基准数据集上实验，显示 Joyful 具有最先进的性能。

    Nov, 2023

  • 利用内模态和外模态图对比学习进行多模态情感识别的对抗表示

    我们提出了一种新颖的对抗表示方法，采用内模态和跨模态图对比用于多模态情感识别，可显著提高情感识别准确率。

    Dec, 2023

  • 从图谱谱域的角度重新审视对话中的多模态情感识别

    通过图谱视角，本文提出了基于图谱的多模态一致性和互补协同学习框架 GS-MCC，通过使用滑动窗口构建多模态交互图、利用高频和低频信息提取方法来反映长程一致性和互补性信息，并通过对比学习构建自监督信号，以提高高频和低频信息对实际情感的反映能力，最后将其输入 MLP 网络和 softmax 函数进行情感预测。在两个基准数据集上的广泛实验证明了 GS-MCC 架构的优越性。

    Apr, 2024

  • 基于多模态电生理多头注意力对比学习的情感识别

    我们提出一种基于自监督对比学习的多模式情感识别方法 ME-MHACL，通过从无标签的生物电信号中学习有意义的特征表示，并使用多头注意机制进行特征融合以提高识别性能。在 DEAP 和 MAHNOB-HCI 两个公开数据集上的实验结果表明，我们的方法在情感识别任务中表现优于现有基准方法，并具有良好的跨个体泛化能力。

    Jul, 2023

  • CLMLF：用于多模态情感检测的对比学习和多层融合方法

    该论文提出了一种用于多模态情感检测的对比学习和多层融合（CLMLF）方法，通过对文本和图像进行隐藏表征编码，设计了两个对比学习任务，标签对比学习和数据对比学习，有助于模型学习多模态数据中与情感相关的共同特征。在公开数据集上进行的大量实验证明了该方法与现有方法相比，在多模态情感检测方面具有很好的效果。

    Apr, 2022

  • 多模态情感识别中基于模态对无监督对比损失的方法

    本文提出了一种基于无监督特征学习且包括对比损失的多模式情感识别方法，该方法可以减少资料标注费用、提高精确度并且无需大批量样本。相关实验数据表明，本方法比许多基线方法和无监督学习方法在多模式情感识别上表现更好，甚至超越了当前某些有监督方法的表现。

    Jul, 2022

  • 多模态提示变换器与混合对比学习用于对话中的情感识别

    多模 ERC 在驱动人机交互发展方面扮演了重要角色，但面临多模态信息融合中的噪声问题以及类别语义相似但样本标签较少的预测问题。为应对这些问题，本研究采用了深度情感线索提取、特征过滤器设计、多模态提示转换器和混合对比学习等策略，实现了更好的多模态融合表现和对少样本标签的处理能力。实验结果证明，所提出的模型在两个基准数据集上优于现有模型。

    Oct, 2023

  • 多模态情感识别基于时间模型的比较

    本文研究了在多模态情感识别中使用不同序列模型的表现，使用多层 CNN 模型处理音频和图像，比较了 GRU、Transformer、LSTM 和 Max Pooling 这四种序列模型的准确度、精度和 F1 分数，观察到这些序列模型在情感识别方面的表现非常接近。

    Jun, 2023

  • 多模态情感识别的多级 Transformer

    本文提出一种新的多层次转换器模型，将细粒度表示和预训练的话语级别表示相结合，结合不同的方法将音素级别嵌入与单词级别嵌入相结合，从而进行细粒度的多模式情感识别，最终在 IEMOCAP 数据集上，我们的模型均优于之前的最优方法。

    Oct, 2022

  • 通过情感跨模态融合和类间对比学习提升对话中的情感识别

    基于向量连接的跨模态融合情感预测网络，包括多模态特征融合阶段和基于融合特征的情感分类阶段，同时设计了基于情感标签的监督式跨类对比学习模块，实验证实了该方法的有效性，并在 IEMOCAP 和 MELD 数据集上展现出优异的性能。

    May, 2024