ICCVAug, 2021

TransFER: 使用 Transformer 学习关系感知的面部表情表示

PDF
TL;DR提出 TransFER 模型，在面部表情识别中使用多头自注意力且随机选择模块，有效地学习富含关系感知的局部表征，实验结果显示其性能优于现有方法。
facial expression recognitiontransfer modelmulti-attention droppingvit-fermulti-head self-attention dropping
发现论文，激发创造
  • 从静态到动态：针对视频中面部表情识别的适应性地标感知图像模型

    通过静态 - 动态模型 (S2D) 结合面部标志感知特征和基于情感锚点的自蒸馏损失函数，提高了动态面部表情识别性能并达到了最先进水平。

    Dec, 2023

  • TransFace：从数据中心的视角校准变形器训练以进行人脸识别

    本文提出了一种名为 TransFace 的优越 FR 模型，其中使用了名为 DPAP 的面级数据增强策略和名为 EHSM 的困难样本挖掘策略，实验证明了其优异性能。

    Aug, 2023

  • 面部伪造检测的防伪感知自适应视觉 Transformer

    借助先进的人脸操作技术，本研究提出了一种新的适应性伪造感知 Transformer (FA-ViT) 来检测 Deepfakes，通过冻结预训练的 Transformer 参数并引入特定组件 (LFI 和 GFA) 来适应与伪造相关的知识，并利用单域成对学习 (SDPL) 以提高性能。实验证明，FA-ViT 在跨数据集评估和跨操作情景中具有最先进的性能，提高了对未知扰动的鲁棒性。

    Sep, 2023

  • MMA-DFER: 适应多模态单模型的野外动态面部表情识别

    探讨使用自我监督学习方法进行多模态动态面部表情识别的研究，并提出了解决该任务中的主要挑战以及相应解决方案，最终在 DFEW 和 MFAW 两个常用的动态面部表情识别基准数据集上实现了超过当前最先进方法的改进。

    Apr, 2024

  • MAE-DFER：自监督动态面部表情识别的高效掩模自编码器

    MAE-DFER 是一种新型的自监督方法，它通过大规模无标签数据的自监督预训练来推动 DFER 的发展，同时采用效率高的局部全局交互 Transformer 编码器，以及明确的面部动作建模，可以学习到强大的动态面部表征。

    Jul, 2023

  • 面部表情识别的情感掩码自编码器与注意融合

    创新方法集成了自我监督学习方法 MAE-Face 和融合注意机制，用于情感分类，通过提取关键面部特征以增强模型性能，特别是在 ABAW 第六次竞赛中展示，并在 Aff-wild2 数据集上得到显著验证。

    Mar, 2024

  • 面部表情和口罩佩戴分类的跨任务多分支视觉转换器

    我们提出了一种统一的多分支视觉转换器，用于面部表情识别和口罩佩戴分类任务。我们的方法使用双分支架构提取两个任务的共享特征，获得多尺度特征表示。此外，我们提出了一个跨任务融合阶段，在交换信息的同时，使用交叉注意模块处理每个任务的标记。与为两个任务使用单独的网络相比，我们提出的框架通过简单而有效的跨任务融合阶段降低了总体复杂性。广泛的实验证明，我们提出的模型在面部表情识别和口罩佩戴分类任务上的表现优于或与不同的最新方法相当。

    Apr, 2024

  • 基于 Vision Transformers 的快速且可解释的非分布数据人脸识别

    本文提出一种新颖的、使用 Vision Transformers (ViTs) 在 patch 级别比较两个图像的方法，通过对 CASIA Webface 数据集上的 2M 对图像进行训练，在大样本外分布数据上与 DeepFace-EMD 的准确度相当，但推理速度是 DeepFace-EMD 的两倍以上。此外，通过人体研究，我们的模型在可视化交叉注意力方面显示出有希望的解释性。我们相信我们的工作可以激发更多在人脸识别中使用 ViTs 的探索。

    Nov, 2023

  • MoE-FFD: 面向广义和参数高效的人脸伪造检测的专家混合

    该研究提出了一种基于变形器的面部伪造检测方法，利用变形器的表达能力和卷积神经网络的本地先验，同时提取全局和局部的伪造线索，从而实现了一种参数高效的训练方案。在实验证明该方法具有减少参数开销且达到了最先进的面部伪造检测性能。

    Apr, 2024

  • 深度面部表情识别研究综述

    深度神经网络在面部表情识别中的应用、数据集和算法，针对过拟合和灯光、头部姿态等问题，分析和总结静态和动态图像序列的最新模型和性能，并探讨未来的发展方向和挑战。

    Apr, 2018