MAE-DFER 是一种新型的自监督方法，它通过大规模无标签数据的自监督预训练来推动 DFER 的发展，同时采用效率高的局部全局交互 Transformer 编码器，以及明确的面部动作建模，可以学习到强大的动态面部表征。

Jul, 2023

提出了一种新颖的方法来检测深度伪造视频，使用一对通过自监督屏蔽自编码设置预训练的视觉转换器。

Jun, 2023

创新方法集成了自我监督学习方法 MAE-Face 和融合注意机制，用于情感分类，通过提取关键面部特征以增强模型性能，特别是在 ABAW 第六次竞赛中展示，并在 Aff-wild2 数据集上得到显著验证。

Mar, 2024

本文提出了一种基于自注意力和掩码自编码器的图像预训练方法 MILAN，通过嵌入语言监督来生成语义信息丰富的图像特征，通过实验证明，该方法在多项计算机视觉任务中优于现有方法。

Aug, 2022

该研究提出 Masked Action Recognition (MAR) 方法来实现视频的行为识别，该方法可减少 ViT 的计算成本，并通过蒙版视频建模和桥接分类器来辅助实现。

Jul, 2022

本研究提出了一个用于学习面部属性的无监督框架，通过观察视频中的人脸说话、笑笑和移动，引入了 Facial Attributes-Net (FAb-Net) 网络来将多帧视频面部轨迹嵌入到低维空间中进行训练，该网络通过预测每个帧的置信 / 注意力蒙版，以学习人脸嵌入表达方式，不需要任何标记数据的监督，并在这些任务上具有与最先进的自监督方法相媲美或超越它的性能。

Aug, 2018

这篇文章介绍了一种用于实际三维点集分析的旋转不变的自监督预训练框架，通过在局部参考帧中屏蔽自动编码的三维点来学习旋转不变且高度可推广的潜在特征，以提高对具有不一致方向的三维点集的准确性。

Mar, 2024

研究论文旨在提出一种减少对标记数据依赖的替代方法，通过在面部图像识别任务中利用自编码器预训练和两步过程来实现。自编码器首先以无监督的方式使用大量无标签的训练数据集进行训练，然后使用预训练自编码器的初始化参数进行深度学习模型的训练。该方法的实验结果表明，使用预训练自编码器参数初始化的深度神经网络可以达到与现有方法相媲美的效果。

Dec, 2023

我们提出了一种终身音视频遮罩自编码器，它能够在分布随时间不断变化的视频流中持续学习多模态表示。具体而言，我们提出了两个创新点来解决这个问题：（1）局部对齐：我们引入了一个小型可训练的多模态编码器，用于预测彼此相互对齐的音频和视频令牌。这使得模型只学习具有准确多模态关系的高度相关的音视频补丁。（2）忘却鲁棒多模态补丁选择：我们比较当前数据对之间每个音视频补丁的相对重要性，以减轻先前学习的音视频表示的意外漂移。因此，我们提出的方法 FLAVA 在一系列预训练任务上训练期间捕捉音频和视频模态之间的复杂关系，并减轻了已学习音视频相关性的遗忘。我们的实验证实了 FLAVA 在持续音视频表示学习场景下的几个基准数据集上优于现有的持续学习方法。

Oct, 2023

本研究提出一种名为 LoMaR 的局部掩码重建的学习机制，该方法与生成式自监督视觉学习方法（如 MAE 和 BEiT）相比，可以更加高效地在简单的转换器编码器上进行掩码重建，同时也更具准确性，可轻松集成到其他生成式自监督学习方法中。

Jun, 2022