Dec, 2023

通过学习统一的面部表示实现通用的面部识别系统

PDF
TL;DRFaceX 是一种新颖的面部通用模型，能够同时处理多样化的面部任务，通过 Facial Omni-Representation Decomposing (FORD) 实现对各种面部组件的无缝操作，并利用 StableDiffusion 的先验来增强生成质量和加速训练，在这基础上通过 Facial Omni-Representation Steering (FORS) 和 Facial Representation Controller (FRC) 实现对生成过程的有效控制。
facex frameworkfacial generalist modelfacial omni-representation decomposingstablediffusionfacial representation controller
发现论文，激发创造
  • FaceXFormer：面部分析的统一 Transformer

    我们介绍了 FaceXformer，这是一个端到端的统一变换器模型，用于综合范围的面部分析任务，如面部解析、标志检测、头部姿势估计、属性识别以及年龄、性别、种族和标志点可见性的估计。我们的 FaceXformer 利用基于变换器的编码器 - 解码器架构，将每个任务视为可学习的标记，从而在单一框架内集成多个任务。此外，我们提出了一个参数高效的解码器 FaceX，它共同处理面部和任务标记，从而在不同任务之间学习通用和鲁棒的面部表示。根据我们的了解，这是首次使用变换器提出了一个能够处理所有这些面部分析任务的单一模型。我们对统一面部任务处理的有效骨干进行了全面分析，并评估了不同任务查询和它们之间的协同作用。我们在多个基准测试中进行了对比实验证实，与最先进的专用模型和之前的多任务模型相比，在数据集内和跨数据集评估中，我们的模型均表现出色。此外，我们的模型有效处理来自 “野外” 的图像，展示了它在八个不同任务上的鲁棒性和普适性，同时保持了每秒 37 帧的实时性能。

    Mar, 2024

  • Faceptor：面部感知的通用模型

    通过统一模型结构，采用 Naive Faceptor 和 Layer-Attention，提高面部感知任务的扩展性和应用效率。在 13 个面部感知数据集上进行联合训练，Faceptor 在面部地标定位、面部解析、年龄估计、表情识别、二进制属性分类和人脸识别方面取得了卓越的性能，同时对辅助监督学习也有显著的提升。

    Mar, 2024

  • FaceX-Zoo：一个基于 PyTorch 的人脸识别工具箱

    介绍了一种名为 FaceX-Zoo 的面向人脸识别研究开发社区的开源框架，它具有高度模块化和可扩展设计，提供了具有各种监督头和主干的训练模块，以及标准化评估模块，同时提供了一个简单但完全功能的人脸 SDK，为训练模型的验证和初步应用提供支持。

    Jan, 2021

  • FReeNet: 多身份人脸重演

    本文介绍了一种新的多身份人脸再现框架 FReeNet，其采用联合地标转换器和几何感知生成器来实现从任意源面孔到具有共享模型的目标面孔的面部表情转换。

    May, 2019

  • 从视频中学习人脸模型

    利用多帧视频自我监督训练深度网络，学习面部身份模型并同时重建 3D 面部，采用新的多帧一致性损失函数使得 consistent shape 和 appearance 尽量减小深度不确定性，从而实现单目和多帧重建。

    Dec, 2018

  • 一种视觉语言式的通用人脸表征学习方法

    本研究提出了一种通用的人脸表示学习框架（FaRL），其使用对比损失和掩蔽图像建模来同时掌握高层语义和低层信息。在大量的图像和文本对上进行预训练并在多个下游任务中验证其性能，在人脸解析和人脸对齐等人脸分析任务中展现了比以往预训练模型更好的迁移表现。

    Dec, 2021

  • FaceCat：利用统一的生成模型框架增强人脸识别安全性

    FaceCat 利用人脸生成模型作为预训练模型，通过精心设计的层次融合机制捕捉人脸生成模型的丰富结构和细节特征，为同时执行人脸反欺骗和对抗检测任务的轻量级头部提供稳定的基础。同时，通过特定文本引导的多模态对齐策略丰富特征表达，提高性能。FaceCat 在 28 种攻击类型的广泛实验中验证了其显著提高的泛化能力和对输入变换的优异鲁棒性。

    Apr, 2024

  • 针对深度人脸识别的通用表示学习

    本文提出了一种通用表征学习框架来提高人脸识别的性能，包括合成训练数据、分割特征嵌入、用不同自信值调整训练的过程，以及通过正则化分类和对不同划分的变体进行对抗训练损失来减少相关性。实验结果表明，该方法在 LFW 和 Megaface 等人脸识别数据集上取得了最佳性能，而在 Tinyface 和 IJB-S 等极端数据集上表现显著优于其他方法。

    Feb, 2020

  • 任务自适应的 Q-Face

    提出了一种名为 Q-Face 的新型任务自适应多任务人脸分析方法，该方法能够同时执行多个面部分析任务，并在表情识别、动作单元检测、面部属性分析、年龄估计和面部姿态估计等方面达到了最先进的性能。

    May, 2024

  • 面部表情识别的视觉不变表示的对比学习

    本文提出了一种基于对比学习的新颖视角不变的面部表情识别框架 ViewFX，能够准确分类面部表情，无论输入的观察角度如何。该方法利用自监督对比损失来学习表情的视角不变特征，同时引入有监督对比损失来使学得的特征与其他表情区分开。经过实验验证，该方法在公开多视角面部表情识别数据集 KDEF 和 DDCF 上表现优于以往的方法，成为了新的最佳方法，并且在面对具有挑战性的观察角度和训练样本标签数目时具有较低的敏感性。同时，还进行了详尽的敏感度和消融实验，评估了模型不同部分的影响以及对不同参数的敏感性。

    Nov, 2023