Dec, 2023

CARAT: 跨模态跨标签情绪识别中的对比特征重建与聚合

PDF
TL;DR提出了基于 ContrAstive feature Reconstruction and AggregaTion (CARAT) 的多模态多标签情绪识别模型，通过对比学习模态间和标签间的特征，有效捕捉多模态信息及标签间的依赖关系，并利用聚合策略进一步丰富标签的协同合作。实验结果表明，CARAT 方法在 CMU-MOSEI 和 M3ED 两个基准数据集上比其他现有方法更有效。
multi-modalemotion recognitionfusion strategiesdependenciescontrastive feature reconstruction and aggregation (carat)
发现论文，激发创造
  • 为多标签情感识别定制的多模态学习模型

    提出了一种名为 TAILOR 的多模态多标签情感识别方法，旨在增强各模态的区分能力和丰富每个标签的语义信息；该方法使用对抗式多模态精炼模块和 BERT-like 跨模态编码器相结合的方式进行表征提炼，并采用标签引导的解码器来自适应生成每个标签的定制表示。在 CMU-MOSEI 数据集上的实验结果表明，TAILOR 优于现有算法。

    Jan, 2022

  • 多模态情感识别中基于模态对无监督对比损失的方法

    本文提出了一种基于无监督特征学习且包括对比损失的多模式情感识别方法，该方法可以减少资料标注费用、提高精确度并且无需大批量样本。相关实验数据表明，本方法比许多基线方法和无监督学习方法在多模式情感识别上表现更好，甚至超越了当前某些有监督方法的表现。

    Jul, 2022

  • 对话中多模式情感识别的深度不平衡学习

    通过设计多模态生成对抗网络、深度联合变分自编码器和多任务图神经网络等方法，提出了一种处理情感识别中数据不平衡的模型，取得了跨模态情感识别的一定性能改进，尤其在恐惧和厌恶情绪标签的准确性和 F1 值上提高了 10％到 20％。

    Dec, 2023

  • 基于多模态协作变压器和混合特征重建的强鲁棒情感识别

    多模情感识别是情感计算的重要方面，本文提出了一种统一框架 Modality-Collaborative Transformer with Hybrid Feature Reconstruction (MCT-HFR) 来解决构建不对齐多模特征的联合表示的效率和随机模态特征缺失引起的性能下降的挑战，并在两个广泛应用的基准数据集上获得了优于先进基准模型的结果。

    Dec, 2023

  • 基于多标签联合解码的层次音视频信息融合在 MER 2023 上的应用

    我们提出了一个用于识别离散和维度情感的新框架，通过从基础模型中提取的深度特征作为原始视频的鲁棒声学和视觉表示，设计了三种基于注意力引导特征汇集的不同结构用于深度特征融合，并在解码阶段引入了联合解码结构用于情感分类和价值回归。我们还设计了基于不确定性的多任务损失来优化整个过程。最后，通过在后验概率级别上结合三种不同的结构，我们获得了离散和维度情感的最终预测。当在多模态情感识别挑战数据集（MER 2023）上进行测试时，该提出的框架在情感分类和价值回归方面都取得了一致的改进。我们的最终系统达到了最新的性能并在 MER-MULTI 子挑战中排名第三。

    Sep, 2023

  • 利用内模态和外模态图对比学习进行多模态情感识别的对抗表示

    我们提出了一种新颖的对抗表示方法，采用内模态和跨模态图对比用于多模态情感识别，可显著提高情感识别准确率。

    Dec, 2023

  • 基于多任务学习和多模态动态融合网络的语音情感识别

    本文提出了一种多模态多任务学习的情感识别方法，包括文本和声学模态的早期融合和自我注意力，使用动态融合网络用于语音编码器，得到了目前最先进的性能结果。

    Mar, 2022

  • MER 2023: 多标签学习，模态鲁棒性和半监督学习

    该研究使用多模态特征测试了三个情感识别子挑战任务，提供了具有竞争力的基础模型，为提高情感识别的鲁棒性和发展实际应用技术提供了一些新思路。

    Apr, 2023

  • 情感 - LLaMA: 多模态情感识别与推理，通过指导调优

    为了解决情感识别中的单模态方法在捕捉真实世界情感表达复杂性方面的局限性，我们提出了 MERR 数据集和 Emotion-LLaMA 模型，通过整合音频、视觉和文本输入，显著提高情感识别能力，并在 evaluations 中取得了优异的成绩。

    Jun, 2024

  • 多任务多模态预测分类和维度情感

    多任务学习在语音情绪识别中的应用与多模态系统和情绪范畴及情绪维度的预测相关，通过跨任务正则化和特征融合提高模型表现。

    Dec, 2023