Apr, 2023

DreamAvatar: 基于扩散模型的文本和形状指导下的 3D 人体化身生成

PDF
TL;DRDreamAvatar 是一个生成高质量、可控制姿态的 3D 人类头像的框架，它使用了可训练的 NeRF 生成 3D 点密度和颜色特征以及预先训练的文本到图像扩散模型提供 2D 自监督。通过 SMPL 模型提供粗略的姿势和形状指导生成，并引入了包含规范空间和观察空间的双重空间设计，它们之间由 NeRF 学习的变形场联系，从规范空间将优化的纹理和几何转移到目标位置头像，添加正常一致性正则化以获得更生动的几何和纹理。经过广泛的评估，证明 DreamAvatar 明显优于现有方法，为文本和形状引导的 3D 人体生成设立了新的技术水准。
dreamavatar3d human avatarscontrollable posesnerftext-to-image diffusion
发现论文，激发创造
  • 使用文本到图像扩散模型生成带有关节的 3D 头像

    本文提出了一种新的基于 3D 可塑模型（3DMM）的文本引导头部生成方法，利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理以生成和文本描述一致的 3D 头部化身，以此在一定程度上提高 3D 头部生成的精度和多样性。

    Jul, 2023

  • AvatarStudio：高保真和可动画三维头像从文本创建

    通过 AvatarStudio 生成高质量的、可动画的 3D 人物头像，首先使用低分辨率的基于 NeRF 的表示进行初步生成，然后结合 SMPL 引导关节活动增加明确的网格表示并支持头像动画和高分辨率渲染，在结果头像中引入基于 DensePose 的 2D 扩散模型以确保视角一致性和姿态可控性，利用 AvatarStudio 可以从文本中生成高质量的头像并具备动态效果，优于之前的方法，并且适用于多模态头像动画和风格引导头像创作等多个应用。

    Nov, 2023

  • 可塑扩散：单图像化身创造的三维一致扩散

    本研究工作旨在通过将 3D 可变模型整合到最新的多视角一致性扩散方法中，增强生成扩散模型在创建可控、照片般逼真的人类头像任务中的质量和功能。我们的实验证明了在基于关节的 3D 模型的准确约束下，生成流水线模型在单图像的新视角合成任务上的性能改进，更重要的是，这种整合实现了面部表情和身体姿势控制在生成过程中的无缝和准确融入。据我们所知，我们提出的框架是第一个允许从未见过的单一图像创建完全 3D 一致、可动画和照片般逼真的人类头像的扩散模型；广泛的定量和定性评估证明了我们的方法在新视角和新表情合成任务上相对于现有最先进的头像创建模型的优势。

    Jan, 2024

  • StyleAvatar3D: 基于图像文本扩散模型实现高保真 3D 头像生成

    本文提出了一种新的方法，结合使用预训练的图像文本扩散模型和基于生成对抗网络的 3D 生成网络，用于生成高质量，风格化的 3D 头像，并在视觉质量和多样性方面优于现有最先进的方法。

    May, 2023

  • ZeroAvatar: 从单张图像生成零样本 3D 头像

    本研究提出了一种名为 ZeroAvatar 的方法，它使用人体先验约束来保持更复杂的图形（如人体）的几何形状以及完成不可见部位的纹理修复，并且在优化的图像到 3D 人体生成中表现出色，优于存在的一些零样本图像到 3D 方法。

    May, 2023

  • 文本生成可动画三维化人形头像

    DreamHuman 是一种从文本描述自动生成逼真可动的三维人物头像模型的方法，该方法将大规模的文本到图像合成模型、神经辐射场和统计人体模型连接在一起，以新颖的建模和优化框架产生动态三维人物头像，具有高质量的纹理、实例特定的表面变形和多样化的外观、衣着、肤色和身体形态。

    Jun, 2023

  • AvatarGen：可动漫人类角色的三维生成模型

    本文提出 AvatarGen 方法，是第一种通过仅使用 2D 图像训练，能够生成高保真度外观和可控几何形状的、解耦式的可控人体动画的方法。

    Nov, 2022

  • Guide3D：根据文本和图像指导创建 3D 化身

    通过结合文字和图像信息，利用扩散模型，我们开发了一种零样本的三维生成模型，能够合成高分辨率纹理网格，实现了将二维图像直接转化为三维空间的功能。

    Aug, 2023

  • MagicMirror: 基于受限搜索空间的快速高质量头像生成

    我们介绍了一个新颖的框架用于 3D 人体头像的生成和个性化，利用文本提示来提高用户参与度和定制性。通过克服面向照片真实感头像合成的挑战，我们的方法的核心创新在于应用条件神经辐射场（NeRF）模型，利用大规模多视角未注释数据集，创造出一个多功能的初始解空间，加速和多样化生成头像。此外，我们开发几何先验，利用文本到图像扩散模型的能力，确保视角不变性，并实现对头像几何的直接优化。这些基础思想结合我们基于变分分数蒸馏（VSD）的优化流程，有效减轻纹理损失和过饱和问题。通过广泛的实验验证，这些策略共同实现了具有无与伦比的视觉质量和更好的符合输入文本提示的定制头像的创建。您可以在我们的网站上找到更多的结果和视频。

    Apr, 2024

  • Human 3Diffusion：透过明确的 3D 一致性扩散模型实现逼真的头像创作

    通过构建新的模型，通过将 2D 扩散模型和 3D 重建模型进行紧密耦合，我们可以从单个 RGB 图像中创建逼真的头像，并实现几何和外观上的高保真度。

    Jun, 2024