通过可微PnP实现端到端人脸重建
本文提出一种新的面部对齐算法,利用3D可变形模型和级联耦合回归器,估计带有任意姿态的人脸图像的2D和3D地标及其2D可视性。实验结果表明,该算法在所有姿态人脸图像上的表现优于现有方法。
Jun, 2015
本论文提出了使用卷积神经网络(CNN)对具有2D影像和3D面部模型或扫描的适当数据集进行训练,以实现单个2D面部图像的三维面部几何重建,避免了模型建立和拟合的复杂流程,并演示了如何将面部标志定位集成到所提出的框架中,帮助提高重建质量。
Mar, 2017
提出了一种新的联合人脸对齐和三维人脸重建方法,该方法可以自动生成姿态和表情归一化的三维人脸,并能恢复可见和不可见的二维人脸关键点,从而可以改善跨姿态和表情的人脸识别准确性。实验结果表明,该方法在人脸对齐和三维人脸重建方面均达到了最先进的精度。
Aug, 2017
本文提出了一种联合多视角卷积网络,用于处理野外环境下面部姿态的大幅度变化,并优雅地桥接面部检测和面部标记定位任务,该方法对于半正面和侧面脸可检测和对齐大量关键点,并在多个数据集上证明了对于面部追踪和面部检测的显著改进。
Aug, 2017
本文提出一种简单的方法,可以同时重建三维人脸结构并提供密集对齐。该方法使用称为UV位置映射的二维表示来记录完整面部的三维形状,并使用简单卷积神经网络从单个二维图像中回归它。该方法不依赖于任何先前的人脸模型,并且可以重建全面部几何信息。与之前的作品相比,网络非常轻便,并且只需9.8毫秒即可处理图像。多次挑战数据集的实验表明,该方法在重建和对齐任务上均优于其他最先进的方法。
Mar, 2018
本研究提出自监督学习的方法,使用姿势引导网络 (PGN) 进行单眼 3D 人脸重建,并通过结合参数模型的学习和数据驱动的学习技术,从完全标记的 3D 地标和无限制的野外面部图像中学习。通过使用包含同一人物多帧嵌入的面部几何信息的自监督学习方案,缓解了从单个图像回归 3D 面部几何的不适定性。在 AFLW2000-3D、Florence 和 FaceWarehouse 数据集上进行了严格评估,并表明我们的方法在所有指标上均优于最先进技术。
Oct, 2020
本文提出一种从单目图像重建可操纵三维面部的方法,通过嵌入不同的网络优化,共同估计个性化面部的骨骼系统和包括表情,姿势和照明在内的每个图像的参数。该模型用深度学习数据驱动先验约束单目设置的面部重建,实现了 SOTA 重建准确度,并支持标准面部 Rig 应用。
Apr, 2021
该研究论文提出了一种通过使用合成数据达到高密度标记点的方法来进行面部重建的方法,并成功将其用于嘴巴和眼睛等部位进行表情捕捉,从而取得了在单目3D面部重建方面的最新成果。
Apr, 2022
本文提出一种同时重建世界空间中的3D面网格和预测图像平面上的2D面标记的方法,以解决透视3D面重建问题,该方法基于预测的3D顶点和2D标记,可轻松用PnP求解器估计出6自由度面姿态,并在ECCV 2022 WCPA竞赛中获得第一名,并且在不同的身份、表情和姿势下具有视觉稳健性。
Aug, 2022