ICCVAug, 2017

Pix2face: 3D 人脸模型直接估算

PDF
TL;DR这篇论文介绍了一种高效、全自动的方法，可以在自由 2D 图像中进行 3D 人脸形状和姿态估计，并使用基于改进的 U-Net 神经网络架构的单一传递联合估计稠密的 3D 关键点和面部几何，此外，还提出一种直接估计 3D 可塑模型（3DMM）参数的方法，通过估计的 3D 关键点和几何形状作为线性系统的约束，为非约束性视频序列中的预测 3D 面部关键点进行了定性建模结果和定量评估。
发现论文，激发创造
  • 非线性 3D 人脸可变模型

    本文提出了一种从大量非约束人脸图像中学习非线性 3D Morphable Model 的创新框架，该模型拥有比线性模型更强大的表示能力，并对人脸对齐和 3D 重建做出了贡献。

    Apr, 2018

  • 从野外图片中学习 3D 人脸可塑模型

    本文提出了一种新的框架以学习从大量野外人脸图像中学习非线性 3DMM 模型，该模型可以用于面部对齐，3D 重建和面部编辑。

    Aug, 2018

  • 通过联合网格和标记回归进行人脸透视重建

    本文提出一种同时重建世界空间中的 3D 面网格和预测图像平面上的 2D 面标记的方法，以解决透视 3D 面重建问题，该方法基于预测的 3D 顶点和 2D 标记，可轻松用 PnP 求解器估计出 6 自由度面姿态，并在 ECCV 2022 WCPA 竞赛中获得第一名，并且在不同的身份、表情和姿势下具有视觉稳健性。

    Aug, 2022

  • 基于位置地图数据的轻量级 3D 密集人脸关键点估计模型

    通过未标定的 2D 图像在无监督的方式下重建 3D 面部，并针对稠密地标进行预测，该方法在模型大小和计算成本上优于现有方法，并在各种头部姿势和面部变化中展现了高效性。

    Aug, 2023

  • 从视频中学习人脸模型

    利用多帧视频自我监督训练深度网络，学习面部身份模型并同时重建 3D 面部，采用新的多帧一致性损失函数使得 consistent shape 和 appearance 尽量减小深度不确定性，从而实现单目和多帧重建。

    Dec, 2018

  • 从图像和视频中学习完整的三维可塑性人脸模型

    本研究提出了一种基于自监督学习的方法，通过图像和视频数据学习脸部特征的完整 3D 模型，实现了环境无关的单目重建，并训练出能够更好地推广和提高图像重建质量的表情基础等方面的面部模型。

    Oct, 2020

  • 无监督深度估计，3D 人脸旋转以及替换

    本文提出了一种无监督学习方法，通过推断面部关键点的深度来预测面部的三维结构和姿态变换，从而实现将面部从一个姿态、几何形状转换成另一个姿态、几何形状等多种功能；同时，探索了对该方法的不足之处，提出使用对抗图像翻译技术作为后处理步骤以重新合成不同姿态或身份的面部的完整头像。

    Mar, 2018

  • 全姿态范围下的人脸对齐：三维全方位解决方案

    本文提出了一种新的面部对齐框架，称为 3D Dense Face Alignment (3DDFA)，其中使用级联卷积神经网络将密集 3D 可变形模型（3DMM）配合到图像中。本文还利用 3D 信息合成正面视图和侧面视图的面部图像以提供丰富的样本进行训练。在具有挑战性的 AFLW 数据库上的实验表明，所提出的方法比现有技术取得了显着的进步。

    Apr, 2018

  • 一种用于人脸检测的深度金字塔可变部件模型

    提出了 DP2MFD 算法，它基于 Deformable Part Models 和深度金字塔特征来检测各种大小和姿态的人脸，通过在深度卷积神经网络上添加归一化层来减少 DPM 在深层特征训练和测试中的差距，通过在四个公开的人脸检测数据集上的广泛实验表明，该方法能够捕捉人脸的有意义的结构，并且比许多竞争性的人脸检测算法表现得更好。

    Aug, 2015

  • 姿态不变的 3D 人脸对齐

    本文提出一种新的面部对齐算法，利用 3D 可变形模型和级联耦合回归器，估计带有任意姿态的人脸图像的 2D 和 3D 地标及其 2D 可视性。实验结果表明，该算法在所有姿态人脸图像上的表现优于现有方法。

    Jun, 2015