在这项研究中，我们提出了 FitDiff，一种基于扩散的三维人脸化身生成模型，它可准确生成可光照补充的人脸化身，利用从 “野外” 二维人脸图像中提取的身份嵌入。该多模态扩散模型同时输出面部反射映射（漫反射和镜面反射率及法线）和形状，展示了强大的泛化能力。它仅在公共人脸数据集的注释子集上进行训练，与三维重建配对。我们通过使用感知和人脸识别损失来指导反向扩散过程，重新审视了典型的三维面部拟合方法。FitDiff 是第一个以面部识别嵌入为条件的 LDM，它能够重构可光照补充的人类化身，可以直接在常见的渲染引擎中使用，仅从无约束的人脸图像开始，并达到了业界的最佳性能。

Dec, 2023

本研究提出了 AvatarMe 方法，通过对大量面部形状和反射率数据的捕获从而建立一种能够逐步改善结果的 3D 纹理和形状重建方法，并生成所需的逐像素漫反射和反射组件，成功地从 “野外” 图像中重建真实的、4K x 6K 分辨率的 3D 面部，是第一次在这方面取得了显著进展。

Mar, 2020

本文提出了 RenderMe-360 数据集，这是一个包含了头像高度完整 4D 数据的大规模数字库。数据集包含了 243 + 万个完整的头框架和来自 500 个不同身份的超过 800k 个视频序列，是一个高保真度和高多样性的数据库，提供了丰富的属性和几何风格。该数据集还提供不同粒度的注释，并在头像研究的五项主要任务上进行了全面的基准测试。本文的实验揭示了当前方法的优缺点，表明 RenderMe-360 将开启未来头像研究领域的探索之门。

May, 2023

本研究工作旨在通过将 3D 可变模型整合到最新的多视角一致性扩散方法中，增强生成扩散模型在创建可控、照片般逼真的人类头像任务中的质量和功能。我们的实验证明了在基于关节的 3D 模型的准确约束下，生成流水线模型在单图像的新视角合成任务上的性能改进，更重要的是，这种整合实现了面部表情和身体姿势控制在生成过程中的无缝和准确融入。据我们所知，我们提出的框架是第一个允许从未见过的单一图像创建完全 3D 一致、可动画和照片般逼真的人类头像的扩散模型；广泛的定量和定性评估证明了我们的方法在新视角和新表情合成任务上相对于现有最先进的头像创建模型的优势。

Jan, 2024

本文提出一种新的光场捕捉和处理方法，用于获取面部散射反照率图像，并成功构建了第一个可塑形面部反照率模型。该模型可作为 Basel Face Model 或 FLAME 的材质模型的替代品，在光谱校准的线性 sRGB 空间中建立，可用于典型相机拍摄的图片的反渲染和 3D MM 拟合。

Apr, 2020

本研究提出了一种基于深度学习的生成模型，结合 4000 高分辨率人脸扫描数据集，能够产生多种面部几何、材料属性的人脸模型，并可用于物理渲染，旨在增加面部身份的多样性，提高唯一组件之间的韧性，包括中频几何、反照率图、高频位移细节等，可用于新颖的身份生成、模型拟合、插值、动画、高保真数据可视化和低到高分辨率数据域转换，并有望鼓励所有图形、视觉和数据专业人士之间进一步的合作，展示每个人完整生物特征资料的累积价值。

Apr, 2020

提出了 MoFaNeRF 模型，它将自由视角图像映射到编码的面部形状、表情和外观的向量空间中，实现了照片级面部合成，有助于面部拟合、随机生成、面部编辑和新视角合成等多个应用。

Dec, 2021

本文介绍一种使用 RGB-D 自拍相机实现高保真、逼真、照片级的 3D 数字人头制作的完全自动化系统。该系统采用不同于传统的面部几何建模和反射合成技术，成功运用了两阶段帧选则过程和可微渲染器的 3DMM 拟合算法来从多视角 RGB-D 数据中恢复面部几何，进而实现人脸表面纹理的抠取与合成，从而制作出了高度真实细节的数字人头。

Oct, 2020

本文提出了一种构建隐式 3D 变形人脸模型的新方法，使用了学习得出的 SDF 和明确的 UV 贴图参数化，从而实现了单张图片的重建、面部表情动画的修改和纹理的直接绘制，相较于现有技术在照片逼真度、几何和表情精度上有了提升。

May, 2023

我们介绍了一个新颖的框架用于 3D 人体头像的生成和个性化，利用文本提示来提高用户参与度和定制性。通过克服面向照片真实感头像合成的挑战，我们的方法的核心创新在于应用条件神经辐射场（NeRF）模型，利用大规模多视角未注释数据集，创造出一个多功能的初始解空间，加速和多样化生成头像。此外，我们开发几何先验，利用文本到图像扩散模型的能力，确保视角不变性，并实现对头像几何的直接优化。这些基础思想结合我们基于变分分数蒸馏（VSD）的优化流程，有效减轻纹理损失和过饱和问题。通过广泛的实验验证，这些策略共同实现了具有无与伦比的视觉质量和更好的符合输入文本提示的定制头像的创建。您可以在我们的网站上找到更多的结果和视频。

Apr, 2024