Aug, 2023

通过融合头部姿态信息和特征实现的3D面部对齐

HTML
PDF
TL;DR本研究提出了一种新方法，通过将头部姿势信息与面部定位网络的特征图相融合，改进了面部定位的性能。此外，所提出的网络结构通过使用2D特征图和3D热图表示的多维特征，在双维度网络中实现了鲁棒的面部定位。为了有效地进行密集面部定位，我们还提出了基于知识蒸馏的训练方法，用于通过预测关键点来预测面部几何标记。通过实验评估了预测的面部标记与头部姿势信息之间的相关性，以及面部标记的准确性与头部姿势信息的质量之间的变化。此外，我们还在AFLW2000-3D、AFLW和BIWI数据集上与最先进的方法进行了竞争性性能比较，证明了所提方法的有效性。
发现论文，激发创造
  • 姿态不变的3D人脸对齐

    本文提出一种新的面部对齐算法，利用3D可变形模型和级联耦合回归器，估计带有任意姿态的人脸图像的2D和3D地标及其2D可视性。实验结果表明，该算法在所有姿态人脸图像上的表现优于现有方法。

    Jun, 2015

  • 利用头部姿态估计辅助人脸对齐

    本文提出了一种基于显式头部姿态估计的级联人脸对齐的监督初始化方案，在 300W 数据集上表现出很高的性能。

    Jul, 2015

  • 我们离解决2D和3D面部对齐问题还有多远？(一个包含230,000个3D面部标记的数据集)

    本文研究了非常深层神经网络在现有的2D和3D人脸对齐数据集中实现饱和性能的距离。通过构建一个强大的基线，创建引导2D标记的网络并创建最大的和最具挑战性的3D人脸标记数据集LS3D-W，训练和评估神经网络，并探究大小等因素的影响，该研究证明2D和3D人脸对齐网络均实现了接近饱和性能的显著高精度水平。

    Mar, 2017

  • 深度对齐网络：用于鲁棒性人脸对齐的卷积神经网络

    本文提出了一种基于深度神经网络结构的鲁棒人脸对齐方法Deep Alignment Network(DAN)，DAN采用全脸图像进行人脸对齐而非局部补丁，并通过在算法的每个阶段利用地标热图来提供之前阶段的视觉信息，从而使DAN处理具有大头姿态变化和困难初始化的面孔图像。我们在两个公开数据集上进行了广泛评估，结果表明DAN将失败率的最新技术水平降低了高达70%。

    Jun, 2017

  • 超越实时的面部对齐：基于3D空间变换网络的非约束姿态方法

    通过使用三维空间变形网络（3DSTN）模型相机投影矩阵和三维模型的形变参数，我们提出了一种新颖的方法同时提取面部的三维形状和语义一致的二维对齐，可以在比实时更快的速度下通过网络一次传递实现。我们的模型在AFLW和AFLW2000-3D数据集上进行评估，证明了我们的方法在三维对齐方面取得了最先进的性能。

    Jul, 2017

  • FacePoseNet：提出无需关键点的人脸姿态校正方法

    通过卷积神经网络在图像强度的作用下，直接准确和稳定地回归头部在三维中的六自由度姿态，进而使用该FacePoseNet (FPN)通过替代显式面部标志检测的方法在二维和三维中对齐面部，我们发现在许多情况下，基准检测准确性可能会误导面部对齐方法的比较。我们的FPN方法提供了比现有方法更好的2D和3D面部对齐，并且耗费的计算资源相对较小，是目前用于面部对齐的更快速和准确的方法。同时，我们使用相同的识别管道但不同的面部对齐方法来评估它们对IJB-A和IJB-B基准测试的面部识别准确性的影响。

    Aug, 2017

  • 使用位置映射回归网络进行联合3D面部重建和密集对齐

    本文提出一种简单的方法，可以同时重建三维人脸结构并提供密集对齐。该方法使用称为UV位置映射的二维表示来记录完整面部的三维形状，并使用简单卷积神经网络从单个二维图像中回归它。该方法不依赖于任何先前的人脸模型，并且可以重建全面部几何信息。与之前的作品相比，网络非常轻便，并且只需9.8毫秒即可处理图像。多次挑战数据集的实验表明，该方法在重建和对齐任务上均优于其他最先进的方法。

    Mar, 2018

  • 基于3DMM和3D Landmarks的协同作用用于精准的3D人脸几何模型

    本文研究了从3D可塑模型（3DMM）和3D面部标记的协同学习过程，以预测完整的3D面部几何，包括3D对齐，面部方向和3D面部建模。我们的协同过程利用了3DMM参数和3D标记的表示循环。3D标记可以从3DMM参数构建的面部网格中提取和精炼。接下来，我们逆转表示方向，并显示从稀疏的3D标记预测3DMM参数可以改善信息流量。总的来说，我们创建了一个利用3D标记和3DMM参数之间关系的协同过程，它们共同促成了更好的性能。我们在面部几何预测的全部任务上进行了广泛的验证，并展示了在这些任务的各种场景下我们卓越和稳健的性能。特别地，我们仅采用简单和广泛使用的网络操作来实现快速和准确的面部几何预测。

    Oct, 2021

  • DSFNet: 双空间融合网络用于鲁棒性遮挡的3D密集面部对齐

    本文提出了一种将 3D 脸部几何模型在图像和模型空间联合建模的方法，通过稠密预测先回归可见面部区域的图像空间特征，再基于模型空间方法预测模型系数，最终通过融合网络将两种方法的优点结合起来，从而实现无限制情境下高鲁棒性和高精度的 3D 密集面部对齐。

    May, 2023

  • 基于人脸模型的人脸对齐方法调查和分类

    面部模型是人脸独特特征的数学表示。本文为入门者、从业者和研究人员提供了对用于面部对齐的不同面部模型的全面分析，包括模型的解释和训练，以及将模型拟合到新面部图像的示例。研究发现，在面部极端姿势的情况下，3D模型更受青睐，而基于深度学习的方法通常使用热图。此外，还讨论了面部模型在面部对齐领域的可能未来发展方向。

    Nov, 2023