本文提出了一种新的基于 3D 可塑模型（3DMM）的文本引导头部生成方法，利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理以生成和文本描述一致的 3D 头部化身，以此在一定程度上提高 3D 头部生成的精度和多样性。

Jul, 2023

本文提出了一种新的方法，结合使用预训练的图像文本扩散模型和基于生成对抗网络的 3D 生成网络，用于生成高质量，风格化的 3D 头像，并在视觉质量和多样性方面优于现有最先进的方法。

May, 2023

本研究工作旨在通过将 3D 可变模型整合到最新的多视角一致性扩散方法中，增强生成扩散模型在创建可控、照片般逼真的人类头像任务中的质量和功能。我们的实验证明了在基于关节的 3D 模型的准确约束下，生成流水线模型在单图像的新视角合成任务上的性能改进，更重要的是，这种整合实现了面部表情和身体姿势控制在生成过程中的无缝和准确融入。据我们所知，我们提出的框架是第一个允许从未见过的单一图像创建完全 3D 一致、可动画和照片般逼真的人类头像的扩散模型；广泛的定量和定性评估证明了我们的方法在新视角和新表情合成任务上相对于现有最先进的头像创建模型的优势。

Jan, 2024

基于扩散的文本到图像模型引起了视觉社区、艺术家和内容创作者的极大关注。通过将预训练的 2D 扩散模型和标准的 3D 神经辐射场作为独立的工具结合起来，我们展示了它们在非学习的方式上相互配合的能力。

Sep, 2023

利用扩散模型 enhance 了图生成模型在 3D 领域的能力，以图神经网络作为去噪扩散模型，通过在网格空间上直接进行扩散过程并生成 3D 面部表情，实现了可控且高保真的 4D 面部动画合成。

Mar, 2024

通过构建新的模型，通过将 2D 扩散模型和 3D 重建模型进行紧密耦合，我们可以从单个 RGB 图像中创建逼真的头像，并实现几何和外观上的高保真度。

Jun, 2024

DiffusionAvatars 通过合成高保真度的三维头像人物，提供了对姿态和表情的直观控制。我们提出了一种基于扩散的神经渲染器，利用通用的二维先验生成引人注目的人脸图像。通过从目标视点渲染神经参数头模型（NPHM）对表情和头部姿态进行粗略指导，我们作为人物的代理几何体。此外，为了增强精细面部表情的建模，我们直接在 NPHM 中通过交叉注意力采用从 NPHM 获得的表情代码来调整 DiffusionAvatars。最后，为了在不同视点和表情之间综合一致地细化表面细节，我们通过 NPHM 的规范空间在头部表面上装配可学习的空间特征。我们使用人物的 RGB 视频和相应跟踪的 NPHM 网格对 DiffusionAvatars 进行训练，并在自我重演和动画场景中测试所得到的头像。我们的实验证明，DiffusionAvatars 在生成人物的新姿态和表情的时候能够产生时间上连贯而视觉上有吸引力的视频，优于现有方法。

Nov, 2023

提出了一种新颖的 3D 人物生成方法 UltrAvatar，通过增强几何保真度和质感材质的质量来生成更真实且具有物理基础渲染（PBR）效果的 3D 人物模型，克服了光照影响和获得更多面部细节的挑战，并在实验中展示了该方法的有效性和鲁棒性。

Jan, 2024

提出了一种可控的文本到三维头像生成方法 Text2Control3D，利用 ControlNet 生成视角感知图像，并通过交叉注意力注入可控的面部表情和外貌，通过高斯潜变量的低通滤波解决了视角不可知纹理问题，以及通过学习图片形变表构建三维头像。

Sep, 2023

在这项研究中，我们提出了 FitDiff，一种基于扩散的三维人脸化身生成模型，它可准确生成可光照补充的人脸化身，利用从 “野外” 二维人脸图像中提取的身份嵌入。该多模态扩散模型同时输出面部反射映射（漫反射和镜面反射率及法线）和形状，展示了强大的泛化能力。它仅在公共人脸数据集的注释子集上进行训练，与三维重建配对。我们通过使用感知和人脸识别损失来指导反向扩散过程，重新审视了典型的三维面部拟合方法。FitDiff 是第一个以面部识别嵌入为条件的 LDM，它能够重构可光照补充的人类化身，可以直接在常见的渲染引擎中使用，仅从无约束的人脸图像开始，并达到了业界的最佳性能。

Dec, 2023