DiffusionRig：学习个性化先验信息用于面部外观编辑
DiffusionAvatars 通过合成高保真度的三维头像人物，提供了对姿态和表情的直观控制。我们提出了一种基于扩散的神经渲染器，利用通用的二维先验生成引人注目的人脸图像。通过从目标视点渲染神经参数头模型（NPHM）对表情和头部姿态进行粗略指导，我们作为人物的代理几何体。此外，为了增强精细面部表情的建模，我们直接在 NPHM 中通过交叉注意力采用从 NPHM 获得的表情代码来调整 DiffusionAvatars。最后，为了在不同视点和表情之间综合一致地细化表面细节，我们通过 NPHM 的规范空间在头部表面上装配可学习的空间特征。我们使用人物的 RGB 视频和相应跟踪的 NPHM 网格对 DiffusionAvatars 进行训练，并在自我重演和动画场景中测试所得到的头像。我们的实验证明，DiffusionAvatars 在生成人物的新姿态和表情的时候能够产生时间上连贯而视觉上有吸引力的视频，优于现有方法。
Nov, 2023
人物图像中的姿势和身体形状编辑一直受到越来越多的关注。然而，当前的方法在处理大幅度编辑时往往受到数据集偏见的困扰，导致逼真度和人物身份的退化。我们提出了一种一次性方法，可以实现大幅度编辑并保留身份信息。为了实现大幅度编辑，我们使用一个 3D 人体模型进行拟合，将输入图像投影到 3D 模型上，并改变人体的姿态和形状。由于初始纹理身体模型存在由于遮挡和不准确的身体形状引起的伪影，渲染图像经历了一种基于扩散的细化过程，在这个过程中，强噪声破坏了身体结构和身份，而不充分的噪声并没有起到帮助作用。因此，我们提出了一种迭代细化方法，首先对整个身体进行弱噪声处理，然后对脸部进行细化。通过自监督学习进一步增强了真实感，通过微调文本嵌入。我们的定量和定性评估表明，我们的方法在各种数据集上优于其他现有方法。
Jan, 2024
提出一种新颖的图像编辑技术，可以在单幅图像上进行三维操作，如物体旋转和平移。通过使用在广泛的文本 - 图像对上训练的强大图像扩散模型，实现了生成具有大视角变换、高外观和形状一致性的高质量三维感知图像编辑，突破了单幅图像三维感知编辑的可能性的局限。
Mar, 2024
该论文提出了第一种使用扩散模型作为先验的高精度三维面部 BRDF 重建方法，通过利用高质量的 UV 数据集进行渲染，使用样本处理过程来训练扩散模型，并在测试时通过对给定图像进行三维可塑模型拟合和 UV 纹理解耦，从而能够单个去噪步骤中完成掩蔽区域的纹理完成和未知反射组分的纹理自动填充，相较于现有方法，该方法更能忠实地和一致地估算反射率。
May, 2023
在这项研究中，我们提出了 FitDiff，一种基于扩散的三维人脸化身生成模型，它可准确生成可光照补充的人脸化身，利用从 “野外” 二维人脸图像中提取的身份嵌入。该多模态扩散模型同时输出面部反射映射（漫反射和镜面反射率及法线）和形状，展示了强大的泛化能力。它仅在公共人脸数据集的注释子集上进行训练，与三维重建配对。我们通过使用感知和人脸识别损失来指导反向扩散过程，重新审视了典型的三维面部拟合方法。FitDiff 是第一个以面部识别嵌入为条件的 LDM，它能够重构可光照补充的人类化身，可以直接在常见的渲染引擎中使用，仅从无约束的人脸图像开始，并达到了业界的最佳性能。
Dec, 2023
通过构建新的模型，通过将 2D 扩散模型和 3D 重建模型进行紧密耦合，我们可以从单个 RGB 图像中创建逼真的头像，并实现几何和外观上的高保真度。
Jun, 2024
本研究工作旨在通过将 3D 可变模型整合到最新的多视角一致性扩散方法中，增强生成扩散模型在创建可控、照片般逼真的人类头像任务中的质量和功能。我们的实验证明了在基于关节的 3D 模型的准确约束下，生成流水线模型在单图像的新视角合成任务上的性能改进，更重要的是，这种整合实现了面部表情和身体姿势控制在生成过程中的无缝和准确融入。据我们所知，我们提出的框架是第一个允许从未见过的单一图像创建完全 3D 一致、可动画和照片般逼真的人类头像的扩散模型；广泛的定量和定性评估证明了我们的方法在新视角和新表情合成任务上相对于现有最先进的头像创建模型的优势。
Jan, 2024
使用去噪扩散模型，我们提出了一种名为 PIDM 的人体图像扩散模型，解决了复杂的转换问题，并展示了在两个大型基准测试中的显着结果，以及如何在下游任务中使用生成的图像。
Nov, 2022
我们提出了一种新的方法来进行野外单视图人脸重照。我们使用条件扩散隐式模型 (DDIM) 解码一个解离的光编码与 3D 形状和面部身份相关的其他编码，以达到最先进的性能，能够在标准基准数据集 Multi-PIE 上进行光照效果的真实再现。
Apr, 2023