CVPRApr, 2024

MMA-DFER: 适应多模态单模型的野外动态面部表情识别

PDF
TL;DR探讨使用自我监督学习方法进行多模态动态面部表情识别的研究，并提出了解决该任务中的主要挑战以及相应解决方案，最终在 DFEW 和 MFAW 两个常用的动态面部表情识别基准数据集上实现了超过当前最先进方法的改进。
dynamic facial expression recognitionmultimodal emotion recognitionself-supervised learningssl-pre-trained disjoint unimodal encodersdfew and mfaw
发现论文，激发创造
  • 从静态到动态：针对视频中面部表情识别的适应性地标感知图像模型

    通过静态 - 动态模型 (S2D) 结合面部标志感知特征和基于情感锚点的自蒸馏损失函数，提高了动态面部表情识别性能并达到了最先进水平。

    Dec, 2023

  • MAE-DFER：自监督动态面部表情识别的高效掩模自编码器

    MAE-DFER 是一种新型的自监督方法，它通过大规模无标签数据的自监督预训练来推动 DFER 的发展，同时采用效率高的局部全局交互 Transformer 编码器，以及明确的面部动作建模，可以学习到强大的动态面部表征。

    Jul, 2023

  • 多模态掩蔽自编码器用于动态情绪识别

    本文提出了一种名为多模态蒙特卡洛自动编码器（MultiMAE-DER）的处理多模态数据用于动态情感识别的新方法。MultiMAE-DER 利用视觉和音频模态之间的时空序列中紧密相关的表示信息。通过利用预训练的蒙特卡洛自动编码器模型，通过简单直接的微调实现 MultiMAE-DER。该方法通过优化六种多模态输入序列融合策略来提高 MultiMAE-DER 的性能，解决了跨域数据中的动态特征相关性问题。与现有的多模态监督学习模型相比，MultiMAE-DER 在 RAVDESS 数据集上的加权平均召回率（WAR）提高了 4.41％，在 CREMAD 上提高了 2.06％。此外，与多模态自监督学习的最新模型相比，MultiMAE-DER 在 IEMOCAP 数据集上的 WAR 提高了 1.86％。

    Apr, 2024

  • 高效双层特征恢复多模态 Transformer 用于鲁棒性多模态情感分析

    本文提出了一种名为 EMT-DLFR 的通用且统一的框架，以解决当前多模态数据建模过程中的两个主要挑战：一是无法进行未对齐的多模态数据中的跨模态交互，而是存在随机模态特征缺失问题，此框架令多模态交互更加高效且应对缺失数据具有更强的鲁棒性。

    Aug, 2022

  • 深度面部表情识别研究综述

    深度神经网络在面部表情识别中的应用、数据集和算法，针对过拟合和灯光、头部姿态等问题，分析和总结静态和动态图像序列的最新模型和性能，并探讨未来的发展方向和挑战。

    Apr, 2018

  • MM-DFN：用于对话情感识别的多模态动态融合网络

    本文提出了一种新的多模态动态融合网络（MM-DFN），用于在对话中全面理解多模态的情境信息，通过设计新的基于图的动态融合模块来减少信息冗余并增强不同语义空间中的上下文信息的补充性，对两个公共基准数据集进行了广泛的实验，证明了 MM-DFN 的有效性和优越性。

    Mar, 2022

  • 多任务多模态自监督学习的面部表情识别

    通过多模态多任务自监督学习方法，利用无标签的野外视频数据，实现了面部表情识别的模型，并在多个基准测试中取得了优秀的性能表现。

    Apr, 2024

  • 野外情感维度识别的联合多模态变压器

    通过使用多模态 Transformer 架构，全面利用视频中视觉和听觉模态之间的交互和内部依赖关系，以识别音频视觉表情和声音模式，该模型在 Affwild2 数据集上表现出优越性能。

    Mar, 2024

  • 动态面部表情识别中激励视觉 - 语言模型

    该论文介绍了一种名为 DFER-CLIP 的新型视觉语言模型，它基于 CLIP 模型，用于野外动态面部表情识别 (DFER)。该模型包括视觉部分和文本部分，通过提取时序面部表情特征和学习上下文信息，实现了与当前监督 DFER 方法相比的最先进结果。

    Aug, 2023

  • 利用深度神经网络深入进行面部表情识别

    提出了一种深度神经网络构架，可在多个公共面部数据库上进行面部表情识别，并且在精度和训练时间上优于传统卷积神经网络和现有方法。

    Nov, 2015