Aug, 2023

SwinFace: 一种用于人脸识别、表情识别、年龄估计和属性估计的多任务 Transformer

PDF
TL;DR该研究提出了一种基于单一的 Swin Transformer 的多功能算法，用于同时进行人脸识别、面部表情识别、年龄估计和面部属性估计，并通过多层级通道注意力模块适应性地选择最佳级别和通道上的特征，以提高预测准确性、数据效率和训练速度。
vision transformersface recognitionfacial expression recognitionage estimationface attribute estimation
发现论文，激发创造
  • Swin Transformer 面部表情识别

    本论文通过引入 Swin transformer，提出一种融合视觉、时间和音频模态的多模态方法用于自然环境下的面部表情识别，并在 Aff-Wild2 数据集上进行了实验证明其有效性。

    Mar, 2022

  • 基于轻量级神经网络的多任务学习的面部表情和属性识别

    本研究探讨轻量级卷积神经网络的多任务学习，用于识别人脸和分类面部属性（年龄，性别，种族），并在没有距离边缘的剪裁人脸上进行训练，需要微调这些网络以预测面部表情；使用 MobileNet、EfficientNet 和 RexNet 架构提出了几种模型，并在 UTKFace 数据集上证明了它们接近最新的年龄、性别和种族识别结果，在 AffectNet 数据集的情感分类上也表现出色；此外，展示了将已训练的模型用作视频帧中面部区域的特征提取器，其识别精度比以前已知的情感分类挑战的单一模型高 4.5％。

    Mar, 2021

  • Video Swin Transformer

    本文介绍了一种针对视频领域的区域局部性 Transformer 架构，通过使用 Swin Transformer 设计来实现，同时利用预训练模型的威力，取得了行动识别和时间建模等广泛的视频识别基准的最新准确性。

    Jun, 2021

  • MulT: 一种端到端的多任务学习变压器

    我们开发了一种称为 MulT 的端到端多任务学习 Transformer 框架，用于同时学习多个高级视觉任务，包括深度估计、语义分割、重着色、表面法线估计、2D 关键点检测和边缘检测。我们的框架基于 Swin transformer 模型，利用任务特定的基于 Transformer 的解码器头为每个视觉任务进行预测，并采用共享的注意机制模型来建模跨任务的依赖关系。我们在多个多任务基准测试中评估了我们的模型，显示出我们的 MulT 框架优于最先进的多任务卷积神经网络模型和所有各自的单任务 Transformer 模型。我们的实验进一步突出了共享所有任务的注意力的优点，并证明我们的 MulT 模型具有鲁棒性和很好的泛化性能。

    May, 2022

  • FaceXFormer：面部分析的统一 Transformer

    我们介绍了 FaceXformer，这是一个端到端的统一变换器模型，用于综合范围的面部分析任务，如面部解析、标志检测、头部姿势估计、属性识别以及年龄、性别、种族和标志点可见性的估计。我们的 FaceXformer 利用基于变换器的编码器 - 解码器架构，将每个任务视为可学习的标记，从而在单一框架内集成多个任务。此外，我们提出了一个参数高效的解码器 FaceX，它共同处理面部和任务标记，从而在不同任务之间学习通用和鲁棒的面部表示。根据我们的了解，这是首次使用变换器提出了一个能够处理所有这些面部分析任务的单一模型。我们对统一面部任务处理的有效骨干进行了全面分析，并评估了不同任务查询和它们之间的协同作用。我们在多个基准测试中进行了对比实验证实，与最先进的专用模型和之前的多任务模型相比，在数据集内和跨数据集评估中，我们的模型均表现出色。此外，我们的模型有效处理来自 “野外” 的图像，展示了它在八个不同任务上的鲁棒性和普适性，同时保持了每秒 37 帧的实时性能。

    Mar, 2024

  • 任务自适应的 Q-Face

    提出了一种名为 Q-Face 的新型任务自适应多任务人脸分析方法，该方法能够同时执行多个面部分析任务，并在表情识别、动作单元检测、面部属性分析、年龄估计和面部姿态估计等方面达到了最先进的性能。

    May, 2024

  • 人脸分析的全功能卷积神经网络

    本文提出一种使用单个深度卷积神经网络进行人脸检测，人脸对齐，姿态估计，性别识别，微笑检测，年龄估计和人脸识别的多用途算法，通过多任务学习框架实现了对 CNN 模型的共享参数的规范化，并在不同领域和任务之间建立协同关系，实验结果表明该网络对人脸具有更好的理解，并在大多数任务方面实现了最先进的结果。

    Nov, 2016

  • 面部转换器：实现高保真度和准确率的人脸交换

    本文描述了一种新颖的人脸交换网络，使用 transformer 网络来学习源脸部与目标脸部之间高质量的语义感知对应，实现在交换后的脸部图像中同时保留源身份和目标属性。

    Apr, 2023

  • 面部表情和口罩佩戴分类的跨任务多分支视觉转换器

    我们提出了一种统一的多分支视觉转换器，用于面部表情识别和口罩佩戴分类任务。我们的方法使用双分支架构提取两个任务的共享特征，获得多尺度特征表示。此外，我们提出了一个跨任务融合阶段，在交换信息的同时，使用交叉注意模块处理每个任务的标记。与为两个任务使用单独的网络相比，我们提出的框架通过简单而有效的跨任务融合阶段降低了总体复杂性。广泛的实验证明，我们提出的模型在面部表情识别和口罩佩戴分类任务上的表现优于或与不同的最新方法相当。

    Apr, 2024

  • HyperFace：面部检测、特征点定位、姿态估计和性别识别的深度多任务学习框架

    使用深度卷积神经网络 (CNN) 的 HyperFace 算法能够同时进行面部检测、标志定位、姿势估计和性别识别，是一种基于多任务学习的算法，通过融合深度 CNN 的中间层并锁定不同任务之间的协同作用来提高算法的效率和精度，此外，HyperFace 还提供了两个变种：结合了 ResNet-101 模型的 HyperFace-ResNet 和高召回率快速面部检测器的 Fast-HyperFace。

    Mar, 2016