我们提出了一种半监督学习技术来生成未标记面部数据的表情类别伪标签以解决有限 FER 数据集的泛化能力问题，并采用均匀抽样和去偏反馈学习策略来应对数据集中的类别不平衡问题和半监督学习中的数据偏差问题。此外，引入了时间编码器来学习和捕捉静态图像之间的临近表情特征的时间关系，并在第 6 届 ABAW 竞赛中在官方验证集上取得了优秀的成绩，充分证实了我们提出方法的有效性和竞争力。

Mar, 2024

MAE-DFER 是一种新型的自监督方法，它通过大规模无标签数据的自监督预训练来推动 DFER 的发展，同时采用效率高的局部全局交互 Transformer 编码器，以及明确的面部动作建模，可以学习到强大的动态面部表征。

Jul, 2023

本研究以人类情绪识别为核心，通过采用面部数据集上的 Masked Autoencoders (MAE) 预训练和 aff-wild2 数据集的微调，结合 Temporal Convolutional Network (TCN) 模块和 Transformer Encoder 模块，实现了对情绪的连续识别。

Mar, 2024

Fus-MAE is a self-supervised learning framework based on masked autoencoders that performs data fusion between synthetic aperture radar and multispectral optical data, effectively competing with contrastive learning strategies in SAR-optical data fusion.

Jan, 2024

本研究使用 Transformer 机制，结合鲁棒表示编码和表示融合进行表情分类，结果表明该模型在 Aff-Wild2 数据集上表现有效。

Mar, 2022

本研究介绍了一种基于多模态特征和 Transformer 的统一框架，用于情感行为分析和表情识别任务，同时运用数据平衡和增强方法进一步提高模型性能。实验证明，该方法在 ABAW3 竞赛中在 EXPR 和 AU 方面排名第一。

Mar, 2022

我们提出了一种统一的多分支视觉转换器，用于面部表情识别和口罩佩戴分类任务。我们的方法使用双分支架构提取两个任务的共享特征，获得多尺度特征表示。此外，我们提出了一个跨任务融合阶段，在交换信息的同时，使用交叉注意模块处理每个任务的标记。与为两个任务使用单独的网络相比，我们提出的框架通过简单而有效的跨任务融合阶段降低了总体复杂性。广泛的实验证明，我们提出的模型在面部表情识别和口罩佩戴分类任务上的表现优于或与不同的最新方法相当。

Apr, 2024

该文介绍了针对面部表情识别问题，提出了一种基于注意力卷积网络的深度学习方法，并采用可视化技术确定了识别不同情绪对应的重要面部区域，相比先前的模型在多个数据集上都取得了明显的改进。

Feb, 2019

本文提出了一种名为多模态蒙特卡洛自动编码器（MultiMAE-DER）的处理多模态数据用于动态情感识别的新方法。MultiMAE-DER 利用视觉和音频模态之间的时空序列中紧密相关的表示信息。通过利用预训练的蒙特卡洛自动编码器模型，通过简单直接的微调实现 MultiMAE-DER。该方法通过优化六种多模态输入序列融合策略来提高 MultiMAE-DER 的性能，解决了跨域数据中的动态特征相关性问题。与现有的多模态监督学习模型相比，MultiMAE-DER 在 RAVDESS 数据集上的加权平均召回率（WAR）提高了 4.41％，在 CREMAD 上提高了 2.06％。此外，与多模态自监督学习的最新模型相比，MultiMAE-DER 在 IEMOCAP 数据集上的 WAR 提高了 1.86％。

Apr, 2024

本研究提出了一种自适应融合网络，利用人脸显著区域的掩码来增强 2D 和 3D 局部特征，通过设计的调制向量自动学习，以及计算重要性权重的新型融合策略可以在卷积层中执行自适应融合。实验结果表明，该方法在 BU-3DFE 和 Bosphorus 数据集上具有最先进的性能并且需要较少的参数。

May, 2022