May, 2024

DNPM: 人脸几何细节综合的神经参数化模型

PDF
TL;DR提出了一种名为 DNPM 的神经参数化模型，用于面部几何细节，它利用深度神经网络从编码细节和皱纹的面部位移图中提取潜在代码。在 DNPM 的基础上，提出了一种名为 Detailed3DMM 的新型 3DMM，通过仅使用身份和表情输入进行面部细节的合成来改进传统的 3DMM。另外，我们展示了 DNPM 和 Detailed3DMM 在两个下游应用中的作用：基于语音驱动的详细 3D 面部动画和从降质图像中进行 3D 面部重建。广泛的实验证明了 DNPM 和 Detailed3DMM 的有用性以及两种提出的应用的进展性。
发现论文，激发创造
  • NPMs: 三维可变形形状的神经参数模型

    本论文提出了一种学习式的 Neural Parametric Models (NPMs) 用于精确地重建和跟踪人体、手部和服装等物体的运动序列，并展示了该方法相对于传统参数化或非参数化方法的优越性。

    Apr, 2021

  • HeadCraft: 建模用于动态三维面模型的高细节形状变化

    通过神经表征，当前人类头部建模的进展允许生成逼真的 3D 头部模型。然而，构建完整的高保真度头部模型，并在明确控制动画的同时保留细节仍然是一个问题。我们引入了一种生成模型，用于在可显式动画和高细节保存之间创建详细的 3D 头部网格。

    Dec, 2023

  • 非线性 3D 人脸可变模型

    本文提出了一种从大量非约束人脸图像中学习非线性 3D Morphable Model 的创新框架，该模型拥有比线性模型更强大的表示能力，并对人脸对齐和 3D 重建做出了贡献。

    Apr, 2018

  • 从野外图片中学习 3D 人脸可塑模型

    本文提出了一种新的框架以学习从大量野外人脸图像中学习非线性 3DMM 模型，该模型可以用于面部对齐，3D 重建和面部编辑。

    Aug, 2018

  • 使用深度神经网络回归具有鲁棒性和判别性的三维可塑模型

    我们提出了使用卷积神经网络进行三维面部模型重建的方法，通过大量标记数据的生成，优化了模型的准确性和稳定性，得到了超过现有方法的识别结果，实现了使用三维面部模型进行面部识别。

    Dec, 2016

  • 基于纹理和形状卷积网格解码器的密集式 3D 人脸解码，每秒超过 2500 帧

    本篇研究利用基于深度学习的自编码器构建了一种新型 3DMM 模型，用于实现低计算复杂度下的面部重建及颜色渲染。

    Apr, 2019

  • Pix2face: 3D 人脸模型直接估算

    这篇论文介绍了一种高效、全自动的方法，可以在自由 2D 图像中进行 3D 人脸形状和姿态估计，并使用基于改进的 U-Net 神经网络架构的单一传递联合估计稠密的 3D 关键点和面部几何，此外，还提出一种直接估计 3D 可塑模型（3DMM）参数的方法，通过估计的 3D 关键点和几何形状作为线性系统的约束，为非约束性视频序列中的预测 3D 面部关键点进行了定性建模结果和定量评估。

    Aug, 2017

  • 基于 Landmark-Parameter Morphable Model 的神经说话人模型直观姿态控制 (LPMM)

    本文提出了一种新方法，使用参数化控制头部方向和面部表情，从而在预训练的神经网络对话头模型上提供直观的刚体控制，允许参数和基于图像的输入。

    May, 2023

  • 野外环境下的三维面部可塑性模型

    通过组合强大的面部形状统计模型和 “野外” 纹理模型，我们提出了第一个 “野外” 3DMM，大大简化了拟合过程，无需将其优化针对照明参数。

    Jan, 2017

  • 可变形部件模型是卷积神经网络

    本文提出一种名为 DeepPyramid DPM 的模型，将图形模型 (DPM) 和卷积神经网络 (CNN) 相结合，取得了较好的性能，可用于视觉识别领域。

    Sep, 2014