Next3D: 三维感知头像的生成式神经纹理光栅化

CVPRNov, 2022

Next3D: 三维感知头像的生成式神经纹理光栅化

Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars

Jingxiang Sun, Xuan Wang, Lizhen Wang, Xiaoyu Li, Yong Zhang...

TL;DR本文提出了一种使用 3D GAN 生成高保真的、多视角一致的面部图像的方法，可以通过不受限制的变形场实现细粒度的表情控制和拓扑灵活性，并在口腔内部方面进行特定模块的建模来提高动画能力，这种 3D 表示还可以作为 3D 先验对于多种应用具有提升作用。

Abstract

3d-aware generative adversarial networks (GANs) synthesize high-fidelity and multi-view-consistent facial images using only collections of single-view 2D imagery. Towards fine-grained control over facial attributes, recent efforts incorporate 3D Morphable Face Model (3DMM) to describe

3d-aware generative adversarial networks facial avatars generative texture-rasterized tri-planes animation ability 3d prior

发现论文，激发创造

SphereHead: 基于球面三平面表示的稳定三维全头合成

通过使用球面坐标系中的新型三平面表示，以及引入视图 - 图像一致性损失来减少生成的伪影，该研究提出了一种解决全方位，全角度三维头部合成挑战的方法。

Apr, 2024

你所看到的就是你 GAN: 用于高保真 3D GAN 中几何渲染的每个像素

本研究提出了一种扩展神经体素渲染至高分辨率 2D 图像的技术，使得生成对抗网络（GAN）能够以前所未有的细节分辨率合成高分辨率的三维几何物体，并且在维持图像质量的同时保持严格的视角一致性，从而树立了无监督学习 3D GAN 中的三维形状的新标准。

Jan, 2024

FitDiff：使用扩散模型进行鲁棒的单目 3D 面部形状和反射估计

在这项研究中，我们提出了 FitDiff，一种基于扩散的三维人脸化身生成模型，它可准确生成可光照补充的人脸化身，利用从 “野外” 二维人脸图像中提取的身份嵌入。该多模态扩散模型同时输出面部反射映射（漫反射和镜面反射率及法线）和形状，展示了强大的泛化能力。它仅在公共人脸数据集的注释子集上进行训练，与三维重建配对。我们通过使用感知和人脸识别损失来指导反向扩散过程，重新审视了典型的三维面部拟合方法。FitDiff 是第一个以面部识别嵌入为条件的 LDM，它能够重构可光照补充的人类化身，可以直接在常见的渲染引擎中使用，仅从无约束的人脸图像开始，并达到了业界的最佳性能。

Dec, 2023