Mar, 2018

使用位置映射回归网络进行联合3D面部重建和密集对齐

HTML
PDF
TL;DR本文提出一种简单的方法，可以同时重建三维人脸结构并提供密集对齐。该方法使用称为UV位置映射的二维表示来记录完整面部的三维形状，并使用简单卷积神经网络从单个二维图像中回归它。该方法不依赖于任何先前的人脸模型，并且可以重建全面部几何信息。与之前的作品相比，网络非常轻便，并且只需9.8毫秒即可处理图像。多次挑战数据集的实验表明，该方法在重建和对齐任务上均优于其他最先进的方法。
发现论文，激发创造
  • 学习合成数据进行3D人脸重建

    本论文介绍了一种基于卷积神经网络和生成随机几乎逼真的面部图像的方法，可以通过单张照片快速、稳健地重建面部的三维几何结构，即使在极端表情和各种光照条件下也可以成功恢复面部形状。

    Sep, 2016

  • 我们离解决2D和3D面部对齐问题还有多远？(一个包含230,000个3D面部标记的数据集)

    本文研究了非常深层神经网络在现有的2D和3D人脸对齐数据集中实现饱和性能的距离。通过构建一个强大的基线，创建引导2D标记的网络并创建最大的和最具挑战性的3D人脸标记数据集LS3D-W，训练和评估神经网络，并探究大小等因素的影响，该研究证明2D和3D人脸对齐网络均实现了接近饱和性能的显著高精度水平。

    Mar, 2017

  • 通过直接体积CNN回归从单张图像中重建大规模姿态3D人脸模型

    本论文提出了使用卷积神经网络（CNN）对具有2D影像和3D面部模型或扫描的适当数据集进行训练，以实现单个2D面部图像的三维面部几何重建，避免了模型建立和拟合的复杂流程，并演示了如何将面部标志定位集成到所提出的框架中，帮助提高重建质量。

    Mar, 2017

  • 超越实时的面部对齐：基于3D空间变换网络的非约束姿态方法

    通过使用三维空间变形网络（3DSTN）模型相机投影矩阵和三维模型的形变参数，我们提出了一种新颖的方法同时提取面部的三维形状和语义一致的二维对齐，可以在比实时更快的速度下通过网络一次传递实现。我们的模型在AFLW和AFLW2000-3D数据集上进行评估，证明了我们的方法在三维对齐方面取得了最先进的性能。

    Jul, 2017

  • 密集人脸对齐

    本文提出一种利用CNN进行3D面部形状估计的方法，实现了对于姿态变化较大的大角度面部图像的高精度、稠密三维对齐。

    Sep, 2017

  • UV-GAN:针对位姿不变人脸识别的对抗性人脸 UV 图像补全

    该论文提出了一种使用深度卷积神经网络训练面部UV图完成模型的框架，从而实现更好的面孔识别表现。该方法通过附加完成的UV图到安装的网格并生成任意姿态的实例，增加了姿态变化以训练深度面部识别/验证模型，并在测试期间最小化姿态差异，证明了对于有完整UV map数据集的人脸库，其具有极高的人脸识别准确率。

    Dec, 2017

  • 基于自监督学习的详细3D人脸重建

    本文提出了一种基于 end-to-end learning 的学习框架，可用于从单个图像中详细地三维重建人脸，不需要传统方法计算的替代地面真值 3D 模型的监督，而是利用输入图像本身作为监督。

    Oct, 2019

  • 使用位置引导网络学习3D面部重建

    本研究提出自监督学习的方法，使用姿势引导网络 (PGN) 进行单眼 3D 人脸重建，并通过结合参数模型的学习和数据驱动的学习技术，从完全标记的 3D 地标和无限制的野外面部图像中学习。通过使用包含同一人物多帧嵌入的面部几何信息的自监督学习方案，缓解了从单个图像回归 3D 面部几何的不适定性。在 AFLW2000-3D、Florence 和 FaceWarehouse 数据集上进行了严格评估，并表明我们的方法在所有指标上均优于最先进技术。

    Oct, 2020

  • DSFNet: 双空间融合网络用于鲁棒性遮挡的3D密集面部对齐

    本文提出了一种将 3D 脸部几何模型在图像和模型空间联合建模的方法，通过稠密预测先回归可见面部区域的图像空间特征，再基于模型空间方法预测模型系数，最终通过融合网络将两种方法的优点结合起来，从而实现无限制情境下高鲁棒性和高精度的 3D 密集面部对齐。

    May, 2023

  • 基于位置地图数据的轻量级3D密集人脸关键点估计模型

    通过未标定的2D图像在无监督的方式下重建3D面部，并针对稠密地标进行预测，该方法在模型大小和计算成本上优于现有方法，并在各种头部姿势和面部变化中展现了高效性。

    Aug, 2023