Sep, 2023

学习适应实际不完整数据情景下的噪声鲁棒性联合表示的多模态情感识别

PDF
TL;DR通过引入噪声和可变自动编码器（Variational AutoEncoder）结构，提出了一种新的噪声鲁棒多模情感识别模型（NMER model），能够有效地从包含噪声的不完整数据中学习到鲁棒的多模态联合表示，实验证明 NMER 在 IEMOCAP 数据集上胜过最先进的多模情感识别系统。
multimodal emotion recognitionincomplete datanoise-robustnmer modelvariational autoencoder
发现论文，激发创造
  • MER 2024：半监督学习、噪声鲁棒性和开放词汇多模态情感识别

    多模态情感识别是人工智能中的重要研究课题，为推动该领域的发展，我们计划组织一系列关于情感识别的挑战活动，其中包括扩大数据集规模、引入新的跟踪领域和鼓励参与者描述角色的情感状态。

    Apr, 2024

  • MER 2023: 多标签学习，模态鲁棒性和半监督学习

    该研究使用多模态特征测试了三个情感识别子挑战任务，提供了具有竞争力的基础模型，为提高情感识别的鲁棒性和发展实际应用技术提供了一些新思路。

    Apr, 2023

  • 对话中多模式情感识别的深度不平衡学习

    通过设计多模态生成对抗网络、深度联合变分自编码器和多任务图神经网络等方法，提出了一种处理情感识别中数据不平衡的模型，取得了跨模态情感识别的一定性能改进，尤其在恐惧和厌恶情绪标签的准确性和 F1 值上提高了 10％到 20％。

    Dec, 2023

  • 不完整多模态情感数据的半监督深度生成建模

    本文提出了一种基于多视角深度生成性框架的新方法，通过多模式专用生成网络对多模态情感数据的统计关系进行建模，基于高斯混合分布对共享潜在变量的后验分布进行假设，以解决单一模式情感数据识别困难、手动注释代价高昂、情感数据存在缺失模态问题等问题，并在两种真实的多模态情感数据集上进行了实验验证。

    Jul, 2018

  • 基于多任务学习和多模态动态融合网络的语音情感识别

    本文提出了一种多模态多任务学习的情感识别方法，包括文本和声学模态的早期融合和自我注意力，使用动态融合网络用于语音编码器，得到了目前最先进的性能结果。

    Mar, 2022

  • 野外情感维度识别的联合多模态变压器

    通过使用多模态 Transformer 架构，全面利用视频中视觉和听觉模态之间的交互和内部依赖关系，以识别音频视觉表情和声音模式，该模型在 Affwild2 数据集上表现出优越性能。

    Mar, 2024

  • 噪声抑制多模态 Transformer 情感识别

    本文介绍了一种应对多模态情感识别中噪声信息干扰的方法，提出了噪声抗性多模态 Transformers 模型，该模型引入了噪声抗性特征提取器 (NRGF) 和噪声感知学习算法。实验结果表明，该方法在多个基准数据集上比已有方法表现更优秀，具有更好的多模态情感识别效果。

    May, 2023

  • 多模态情感识别中基于模态对无监督对比损失的方法

    本文提出了一种基于无监督特征学习且包括对比损失的多模式情感识别方法，该方法可以减少资料标注费用、提高精确度并且无需大批量样本。相关实验数据表明，本方法比许多基线方法和无监督学习方法在多模式情感识别上表现更好，甚至超越了当前某些有监督方法的表现。

    Jul, 2022

  • 多模态 VAEs 中的统一多样性：改进的表示学习

    用于多模态数据的变分自编码器在数据分析中具有许多任务的潜力，如表示学习、条件生成和插补。我们通过用软约束替换这些硬约束，提出了一种新的专家混合先验方法，软指导每个模态的潜编码向共享的聚合后验靠近，从而得到一个更好的潜编码表示，并提高了对缺失数据模态的填充能力。在多个基准数据集和具有挑战性的现实神经科学数据集上进行了广泛实验证明，与现有方法相比，学到的潜编码表示和缺失数据模态的插补有所改进。

    Mar, 2024

  • 隐私增强的多模态神经表征用于情感识别

    本研究回顾了移动应用程序和虚拟对话代理器识别和适应情绪的方法，讨论了隐私问题。我们研究了基于主要任务（情感识别）进行训练的多模态表征如何意外地泄露一些敏感信息，分析了情感识别中的隐私度量，并在多个数据集上进行了验证。我们使用对抗学习范式来消除表征中的隐私信息，以及如何在不影响主要任务表现的情况下改善隐私度量。本研究是第一次分析不同模态的隐私指标差异以及如何在仍然维持情感识别表现的情况下解决多个隐私问题。

    Oct, 2019