Jul, 2023

MAE-DFER：自监督动态面部表情识别的高效掩模自编码器

PDF
TL;DRMAE-DFER 是一种新型的自监督方法，它通过大规模无标签数据的自监督预训练来推动 DFER 的发展，同时采用效率高的局部全局交互 Transformer 编码器，以及明确的面部动作建模，可以学习到强大的动态面部表征。
dynamic facial expression recognitionself-supervised pre-traininglocal-global interaction transformerfacial motion modelinglarge-scale datasets
发现论文，激发创造
  • 多模态掩蔽自编码器用于动态情绪识别

    本文提出了一种名为多模态蒙特卡洛自动编码器（MultiMAE-DER）的处理多模态数据用于动态情感识别的新方法。MultiMAE-DER 利用视觉和音频模态之间的时空序列中紧密相关的表示信息。通过利用预训练的蒙特卡洛自动编码器模型，通过简单直接的微调实现 MultiMAE-DER。该方法通过优化六种多模态输入序列融合策略来提高 MultiMAE-DER 的性能，解决了跨域数据中的动态特征相关性问题。与现有的多模态监督学习模型相比，MultiMAE-DER 在 RAVDESS 数据集上的加权平均召回率（WAR）提高了 4.41％，在 CREMAD 上提高了 2.06％。此外，与多模态自监督学习的最新模型相比，MultiMAE-DER 在 IEMOCAP 数据集上的 WAR 提高了 1.86％。

    Apr, 2024

  • 面部表情识别的情感掩码自编码器与注意融合

    创新方法集成了自我监督学习方法 MAE-Face 和融合注意机制，用于情感分类，通过提取关键面部特征以增强模型性能，特别是在 ABAW 第六次竞赛中展示，并在 Aff-wild2 数据集上得到显著验证。

    Mar, 2024

  • MMA-DFER: 适应多模态单模型的野外动态面部表情识别

    探讨使用自我监督学习方法进行多模态动态面部表情识别的研究，并提出了解决该任务中的主要挑战以及相应解决方案，最终在 DFEW 和 MFAW 两个常用的动态面部表情识别基准数据集上实现了超过当前最先进方法的改进。

    Apr, 2024

  • 从静态到动态：针对视频中面部表情识别的适应性地标感知图像模型

    通过静态 - 动态模型 (S2D) 结合面部标志感知特征和基于情感锚点的自蒸馏损失函数，提高了动态面部表情识别性能并达到了最先进水平。

    Dec, 2023

  • MARLIN: 面部视频表示学习的掩码自编码器

    该研究提出了一种自我监督的方法，从大量可获得的非标注网页爬取的面部视频中学习高度鲁棒和通用的面部嵌入，提取可转移特征，称之为 MARLIN，有效，一致地执行多种人脸分析任务，包括 FAR，FER，DFD 和 LS，甚至在低数据范围内表现良好。

    Nov, 2022

  • 基于遮挡自编码器的视频无监督预训练技术

    本文研究了使用 VideoMAE 进行自主监督视频预训练 (SSVP) 的数据高效性问题，并通过适当的视频屏蔽达到了良好的表现，进而证明数据质量对 SSVP 更加重要。

    Mar, 2022

  • SurgMAE：用于长时间手术视频分析的遮蔽自编码器

    提出一种基于采样高时空令牌的创新 MAE 架构 SurgMAE，应用于手术视频领域的自监督学习，证明了该方法在低数据量条件下的有效性及其在非手术数据集 UCF-101 上的泛化性能优越性。

    May, 2023

  • FedMAE: 基于单块遮蔽自编码器的联邦自监督学习

    本文提出了一种新的基于联邦学习的框架 FedMAE，使用联邦半监督 / 自监督学习的方法通过本地客户端的未标记的大规模图像进行预训练，并在服务器端级联多个预训练的一块 MAE 构建一个多块 ViT 来解决如何利用未标记的大规模图片进行联邦学习的问题。实验结果表明，与最先进的 FSSL 方法相比，FedMAE 取得了卓越的性能。

    Mar, 2023

  • 动态面部表情识别中激励视觉 - 语言模型

    该论文介绍了一种名为 DFER-CLIP 的新型视觉语言模型，它基于 CLIP 模型，用于野外动态面部表情识别 (DFER)。该模型包括视觉部分和文本部分，通过提取时序面部表情特征和学习上下文信息，实现了与当前监督 DFER 方法相比的最先进结果。

    Aug, 2023

  • 揭示 Deepfakes：蒙面自编码时空转换器用于加强视频伪造检测

    提出了一种新颖的方法来检测深度伪造视频，使用一对通过自监督屏蔽自编码设置预训练的视觉转换器。

    Jun, 2023