无需制造，伪造生成：用于准确三维面部形状估计的条件人脸生成

Jul, 2023

无需制造，伪造生成：用于准确三维面部形状估计的条件人脸生成

Fake It Without Making It: Conditioned Face Generation for Accurate 3D Face Shape Estimation

Will Rowan, Patrik Huber, Nick Pears, Andrew Keeling

TL;DR通过在 3DMM 的深度图中采样生成的稳定扩散模型对人脸图像进行生成，利用丰富的 2D 面部信息提供 3D 空间信息，形成 SynthFace，并在此基础上训练的神经网络 ControlFace，在 NoW 基准测试上实现了竞争性能。

Abstract

Accurate 3d face shape estimation is an enabling technology with applications in healthcare, security, and creative industries, yet current state-of-the-art methods either rely on self-supervised training with 2D image data or supervised training with very limited 3D data. To bridge th

3d face shape estimation conditioned stable diffusion model 2d facial information synthface controlface

发现论文，激发创造

DCFace：双条件扩散模型合成人脸

通过将主体外貌和外部条件（样式）结合来解决面部图像合成的问题，Dual Condition Face Generator 是一种基于扩散模型的生成器，可通过 Patch-wise 样式提取和 Time-step 受限 ID 损失来提供高精准控制，从而比以前的方法提供更高的身份验证准确性。

Apr, 2023

多模态条件下的三维人脸几何生成

我们提出了一种新的方法，用于多模态条件下的三维人脸几何生成，可以通过多种不同的条件信号实现对输出身份和表情的用户友好控制。该方法基于扩散过程，在一个二维参数化的 UV 领域中生成三维几何形状，并通过交叉注意层 (IP-Adapter) 将每个调节信号传递给几何生成模型，提供细粒度的用户控制，产生具有高分辨率几何的易于使用的三维人脸生成工具。

Jul, 2024

朝现实的生成三维人脸模型

本文提出使用 2D 生成模型加上面部特征操作来创造 3D 可控制生成人脸模型的方法，可进行文本编辑、样式编辑和生成精确的 3D 形状和更高质量的色彩。

Apr, 2023

学习合成数据进行 3D 人脸重建

本论文介绍了一种基于卷积神经网络和生成随机几乎逼真的面部图像的方法，可以通过单张照片快速、稳健地重建面部的三维几何结构，即使在极端表情和各种光照条件下也可以成功恢复面部形状。

Sep, 2016

3D 引导细粒度人脸操作

提供了一种细致的人脸操作方法，利用三维人脸模型和分离出质地和形状的方法进行纹理和形状不同表情的构建，进而通过生成网络和全连接网络实现表情的合成和准确形状的预测，获得了优越的结果，并被 85% 的用户优先选择，并且在 53% 的情况下，注释员无法可靠地区分合成的图像和真实图像的差别。

Feb, 2019

单图像照片逼真面部细节合成

通过表情分析生成满足要求的脸部几何表达形式并结合有监督和无监督学习实现面部细节合成的单图像三维面部综合技术.

Mar, 2019

虚假到成功：利用合成数据在野外进行面部分析

本研究通过合适的合成数据及其训练方式进行模型的学习及数据的一般化，具有现实中追随的功效及实时性。

Sep, 2021

可塑扩散：单图像化身创造的三维一致扩散

本研究工作旨在通过将 3D 可变模型整合到最新的多视角一致性扩散方法中，增强生成扩散模型在创建可控、照片般逼真的人类头像任务中的质量和功能。我们的实验证明了在基于关节的 3D 模型的准确约束下，生成流水线模型在单图像的新视角合成任务上的性能改进，更重要的是，这种整合实现了面部表情和身体姿势控制在生成过程中的无缝和准确融入。据我们所知，我们提出的框架是第一个允许从未见过的单一图像创建完全 3D 一致、可动画和照片般逼真的人类头像的扩散模型；广泛的定量和定性评估证明了我们的方法在新视角和新表情合成任务上相对于现有最先进的头像创建模型的优势。

Jan, 2024

基于学习的新颖视角合成的全脸外貌的基于 3D 凝视估计

本研究提出了基于单目三维面部重建的合成凝视估计训练数据的新方法，利用投影匹配过程，配合掩码引导凝视估计模型和数据增强策略，显著提高了在具有非重叠凝视分布的跨数据集环境下的估计性能。

Jan, 2022

FitDiff：使用扩散模型进行鲁棒的单目 3D 面部形状和反射估计

在这项研究中，我们提出了 FitDiff，一种基于扩散的三维人脸化身生成模型，它可准确生成可光照补充的人脸化身，利用从 “野外” 二维人脸图像中提取的身份嵌入。该多模态扩散模型同时输出面部反射映射（漫反射和镜面反射率及法线）和形状，展示了强大的泛化能力。它仅在公共人脸数据集的注释子集上进行训练，与三维重建配对。我们通过使用感知和人脸识别损失来指导反向扩散过程，重新审视了典型的三维面部拟合方法。FitDiff 是第一个以面部识别嵌入为条件的 LDM，它能够重构可光照补充的人类化身，可以直接在常见的渲染引擎中使用，仅从无约束的人脸图像开始，并达到了业界的最佳性能。

Dec, 2023