Dec, 2023

FitDiff：使用扩散模型进行鲁棒的单目 3D 面部形状和反射估计

PDF
TL;DR在这项研究中，我们提出了 FitDiff，一种基于扩散的三维人脸化身生成模型，它可准确生成可光照补充的人脸化身，利用从 “野外” 二维人脸图像中提取的身份嵌入。该多模态扩散模型同时输出面部反射映射（漫反射和镜面反射率及法线）和形状，展示了强大的泛化能力。它仅在公共人脸数据集的注释子集上进行训练，与三维重建配对。我们通过使用感知和人脸识别损失来指导反向扩散过程，重新审视了典型的三维面部拟合方法。FitDiff 是第一个以面部识别嵌入为条件的 LDM，它能够重构可光照补充的人类化身，可以直接在常见的渲染引擎中使用，仅从无约束的人脸图像开始，并达到了业界的最佳性能。
3d face reconstructiondiffusion modelsgenerative modelfacial avatarsrelightable human avatars
发现论文，激发创造
  • 通过扩散模型从一张单照片中重光一个重光可调的 3D 人脸

    该论文提出了第一种使用扩散模型作为先验的高精度三维面部 BRDF 重建方法，通过利用高质量的 UV 数据集进行渲染，使用样本处理过程来训练扩散模型，并在测试时通过对给定图像进行三维可塑模型拟合和 UV 纹理解耦，从而能够单个去噪步骤中完成掩蔽区域的纹理完成和未知反射组分的纹理自动填充，相较于现有方法，该方法更能忠实地和一致地估算反射率。

    May, 2023

  • 可塑扩散：单图像化身创造的三维一致扩散

    本研究工作旨在通过将 3D 可变模型整合到最新的多视角一致性扩散方法中，增强生成扩散模型在创建可控、照片般逼真的人类头像任务中的质量和功能。我们的实验证明了在基于关节的 3D 模型的准确约束下，生成流水线模型在单图像的新视角合成任务上的性能改进，更重要的是，这种整合实现了面部表情和身体姿势控制在生成过程中的无缝和准确融入。据我们所知，我们提出的框架是第一个允许从未见过的单一图像创建完全 3D 一致、可动画和照片般逼真的人类头像的扩散模型；广泛的定量和定性评估证明了我们的方法在新视角和新表情合成任务上相对于现有最先进的头像创建模型的优势。

    Jan, 2024

  • Human 3Diffusion：透过明确的 3D 一致性扩散模型实现逼真的头像创作

    通过构建新的模型，通过将 2D 扩散模型和 3D 重建模型进行紧密耦合，我们可以从单个 RGB 图像中创建逼真的头像，并实现几何和外观上的高保真度。

    Jun, 2024

  • DiffusionAvatars：高保真 3D 头像的延迟扩散

    DiffusionAvatars 通过合成高保真度的三维头像人物，提供了对姿态和表情的直观控制。我们提出了一种基于扩散的神经渲染器，利用通用的二维先验生成引人注目的人脸图像。通过从目标视点渲染神经参数头模型（NPHM）对表情和头部姿态进行粗略指导，我们作为人物的代理几何体。此外，为了增强精细面部表情的建模，我们直接在 NPHM 中通过交叉注意力采用从 NPHM 获得的表情代码来调整 DiffusionAvatars。最后，为了在不同视点和表情之间综合一致地细化表面细节，我们通过 NPHM 的规范空间在头部表面上装配可学习的空间特征。我们使用人物的 RGB 视频和相应跟踪的 NPHM 网格对 DiffusionAvatars 进行训练，并在自我重演和动画场景中测试所得到的头像。我们的实验证明，DiffusionAvatars 在生成人物的新姿态和表情的时候能够产生时间上连贯而视觉上有吸引力的视频，优于现有方法。

    Nov, 2023

  • DiFaReli: 扩散人脸照明

    我们提出了一种新的方法来进行野外单视图人脸重照。我们使用条件扩散隐式模型 (DDIM) 解码一个解离的光编码与 3D 形状和面部身份相关的其他编码，以达到最先进的性能，能够在标准基准数据集 Multi-PIE 上进行光照效果的真实再现。

    Apr, 2023

  • 深度逼真的 3D Morphable Model 头像：FitMe

    FitMe 是一种面部反射模型和可微分渲染优化管线，能够从单个或多个图像中获取高保真演示人体化身，具有多模态样式生成器，PCA 基于形状模型，快速可微分渲染过程，实现光真实的面部着色，实现反射获得和身份保存方面的最新成果。

    May, 2023

  • DiffHuman：人体的概率光真实三维重建

    DiffHuman 是一种基于概率的方法，通过一个单一的 RGB 图像实现逼真的三维人体重建。与确定性方法不同，DiffHuman 根据二维图像预测三维重建的概率分布，可以生成与图像一致的多个详细的三维人体模型。此外，DiffHuman 还引入了一个生成器神经网络，可以以大幅减少的运行时间进行渲染，从而实现了一种新颖的双分支扩散框架。在实验中，DiffHuman 在重建可见表面方面与现有技术不相上下，并且可以对输入图像中未见或不确定的部分生成多样且详细的重建结果。

    Mar, 2024

  • RenderDiffusion：用于 3D 重建、修补与生成的图像扩散

    本文提出了 RenderDiffusion，这是第一个用于 3D 生成和推断的扩散模型，使用仅有的单眼 2D 监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion，展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。

    Nov, 2022

  • AnimateMe: 通过扩散模型实现 4D 面部表情

    利用扩散模型 enhance 了图生成模型在 3D 领域的能力，以图神经网络作为去噪扩散模型，通过在网格空间上直接进行扩散过程并生成 3D 面部表情，实现了可控且高保真的 4D 面部动画合成。

    Mar, 2024

  • 基于扩散的人体姿态和形状编辑

    人物图像中的姿势和身体形状编辑一直受到越来越多的关注。然而，当前的方法在处理大幅度编辑时往往受到数据集偏见的困扰，导致逼真度和人物身份的退化。我们提出了一种一次性方法，可以实现大幅度编辑并保留身份信息。为了实现大幅度编辑，我们使用一个 3D 人体模型进行拟合，将输入图像投影到 3D 模型上，并改变人体的姿态和形状。由于初始纹理身体模型存在由于遮挡和不准确的身体形状引起的伪影，渲染图像经历了一种基于扩散的细化过程，在这个过程中，强噪声破坏了身体结构和身份，而不充分的噪声并没有起到帮助作用。因此，我们提出了一种迭代细化方法，首先对整个身体进行弱噪声处理，然后对脸部进行细化。通过自监督学习进一步增强了真实感，通过微调文本嵌入。我们的定量和定性评估表明，我们的方法在各种数据集上优于其他现有方法。

    Jan, 2024