本文研究应用深度学习技术将单张静态图片转化为逼真的三维动画，重点探究四维面部表情的生成。作者运用一种称为深度网格编码器 - 解码器的技术，结合表情识别模型，以高分辨率的四维扫描数据集为基础，成功地实现了对面部表情的高度逼真合成，且具有较好地泛化能力。该研究是首次尝试解决四维面部表情合成的问题。

Jul, 2020

DiffusionAvatars 通过合成高保真度的三维头像人物，提供了对姿态和表情的直观控制。我们提出了一种基于扩散的神经渲染器，利用通用的二维先验生成引人注目的人脸图像。通过从目标视点渲染神经参数头模型（NPHM）对表情和头部姿态进行粗略指导，我们作为人物的代理几何体。此外，为了增强精细面部表情的建模，我们直接在 NPHM 中通过交叉注意力采用从 NPHM 获得的表情代码来调整 DiffusionAvatars。最后，为了在不同视点和表情之间综合一致地细化表面细节，我们通过 NPHM 的规范空间在头部表面上装配可学习的空间特征。我们使用人物的 RGB 视频和相应跟踪的 NPHM 网格对 DiffusionAvatars 进行训练，并在自我重演和动画场景中测试所得到的头像。我们的实验证明，DiffusionAvatars 在生成人物的新姿态和表情的时候能够产生时间上连贯而视觉上有吸引力的视频，优于现有方法。

Nov, 2023

本研究工作旨在通过将 3D 可变模型整合到最新的多视角一致性扩散方法中，增强生成扩散模型在创建可控、照片般逼真的人类头像任务中的质量和功能。我们的实验证明了在基于关节的 3D 模型的准确约束下，生成流水线模型在单图像的新视角合成任务上的性能改进，更重要的是，这种整合实现了面部表情和身体姿势控制在生成过程中的无缝和准确融入。据我们所知，我们提出的框架是第一个允许从未见过的单一图像创建完全 3D 一致、可动画和照片般逼真的人类头像的扩散模型；广泛的定量和定性评估证明了我们的方法在新视角和新表情合成任务上相对于现有最先进的头像创建模型的优势。

Jan, 2024

我们提出的 3DiFACE 方法是一种用于个性化语音驱动的 3D 面部动画和编辑的新方法。通过引入一种轻量级的音频条件扩散模型，我们能够在保持表现力丰富的唇部运动输出的同时，允许随机性和动作编辑。经过定量和定性评估，我们展示了我们的方法优于现有的技术，并产生更具保真度和多样性的语音驱动动画。

Dec, 2023

本文提出了一种新的基于 3D 可塑模型（3DMM）的文本引导头部生成方法，利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理以生成和文本描述一致的 3D 头部化身，以此在一定程度上提高 3D 头部生成的精度和多样性。

Jul, 2023

在这项研究中，我们提出了 FitDiff，一种基于扩散的三维人脸化身生成模型，它可准确生成可光照补充的人脸化身，利用从 “野外” 二维人脸图像中提取的身份嵌入。该多模态扩散模型同时输出面部反射映射（漫反射和镜面反射率及法线）和形状，展示了强大的泛化能力。它仅在公共人脸数据集的注释子集上进行训练，与三维重建配对。我们通过使用感知和人脸识别损失来指导反向扩散过程，重新审视了典型的三维面部拟合方法。FitDiff 是第一个以面部识别嵌入为条件的 LDM，它能够重构可光照补充的人类化身，可以直接在常见的渲染引擎中使用，仅从无约束的人脸图像开始，并达到了业界的最佳性能。

Dec, 2023

用 FaceDiffuser 生成非确定性的深度学习模型，基于扩散技术和 HuBERT 预训练模型对音频输入进行编码，用于生成语音驱动的三维面部动画合成。

Sep, 2023

本文提出了一种新的方法，结合使用预训练的图像文本扩散模型和基于生成对抗网络的 3D 生成网络，用于生成高质量，风格化的 3D 头像，并在视觉质量和多样性方面优于现有最先进的方法。

May, 2023

该研究提出了一种基于属性引导扩散模型 (FADM) 的面部动画框架，该框架可逐步地改善非自然畸变和伪影。

Apr, 2023

使用 Rodin 模型的 3D 生成模型可以自动生成以神经光谱场表示的 3D 数字化的头像，这个模型可以通过分层合成进一步增强头像的细节，并且还可以基于文本操作实现头像的语义编辑。

Dec, 2022