ICCVAug, 2017

3D Morphable Models 作为空间变换网络

PDF
TL;DR本文介绍了一种新的卷积神经网络模型，将 3D 变形模型嵌入网络中，使得该网络可以处理输入数据的 3D 空间变换，并且可以对 3D 姿态的变化和遮挡进行识别和规范化，通过该方法可以对高度不规则的图像进行处理。
3d morphable modelconvolutional neural networkspatial transformation networkpose changesself-occlusions
发现论文，激发创造
  • 非线性 3D 人脸可变模型

    本文提出了一种从大量非约束人脸图像中学习非线性 3D Morphable Model 的创新框架，该模型拥有比线性模型更强大的表示能力，并对人脸对齐和 3D 重建做出了贡献。

    Apr, 2018

  • 从野外图片中学习 3D 人脸可塑模型

    本文提出了一种新的框架以学习从大量野外人脸图像中学习非线性 3DMM 模型，该模型可以用于面部对齐，3D 重建和面部编辑。

    Aug, 2018

  • 使用深度神经网络回归具有鲁棒性和判别性的三维可塑模型

    我们提出了使用卷积神经网络进行三维面部模型重建的方法，通过大量标记数据的生成，优化了模型的准确性和稳定性，得到了超过现有方法的识别结果，实现了使用三维面部模型进行面部识别。

    Dec, 2016

  • 空间变换网络

    引入一种新的可学习模块 ——Spatial Transformer，能够在现有的卷积网络结构中显式地允许对数据进行空间操作，从而使得模型得以学习对于平移、缩放、旋转以及基于更一般的扭曲变换的不变性，其模型表现在多个基准测试数据集上达到了最先进的水平。

    Jun, 2015

  • 神经三维可变模型：螺旋卷积网络用于三维形状表示学习和生成

    本文提出了一种新颖的图卷积算子，通过对网格的本地顺序强制执行连续性，实现对固定底层图形的归纳偏差建模，并将其作为传统深度生成建筑的构件，以多种 3D 形状数据集为例，与线性 Morphable Model 和其他图卷积算子相比，展示出最先进的结果。

    May, 2019

  • 超越实时的面部对齐：基于 3D 空间变换网络的非约束姿态方法

    通过使用三维空间变形网络（3DSTN）模型相机投影矩阵和三维模型的形变参数，我们提出了一种新颖的方法同时提取面部的三维形状和语义一致的二维对齐，可以在比实时更快的速度下通过网络一次传递实现。我们的模型在 AFLW 和 AFLW2000-3D 数据集上进行评估，证明了我们的方法在三维对齐方面取得了最先进的性能。

    Jul, 2017

  • 野外环境下的三维面部可塑性模型

    通过组合强大的面部形状统计模型和 “野外” 纹理模型，我们提出了第一个 “野外” 3DMM，大大简化了拟合过程，无需将其优化针对照明参数。

    Jan, 2017

  • 学习强健的 3D 人脸重建及判别身份表征

    本文提出了一种使用 Siamese 卷积神经网络的 3D 人脸重建方法，采用对比损失和恒等损失来保留身份特征信息和增加不同身份之间的距离，从而提高人脸识别的准确性。实验证明，在 300W-LP 和 AFLW2000-3D 等数据库上，相较于现有技术，该方法更加有效。

    May, 2019

  • LeGO：通过表面变形网络实现可动漫化风格的人脸生成（以单个示例为基础）

    通过训练表面变形网络和使用配对样例来翻译目标风格，该方法实现了高度风格化的 3D 人脸模型，可以生成不同拓扑的面部模型，并用于诸如头像生成、几何样式的线性插值以及风格化头像的面部动画等应用。

    Mar, 2024

  • MVF-Net: 多视角 3D 人脸可塑模型回归

    本文提出一种基于卷积神经网络和多视图图像的 3D 人脸重建方法，使用自监督的视角对齐损失来减少视图之间对齐误差，并使用光流法预测 3D 形状，实现更好的 3D 重建结果。

    Apr, 2019