Nov, 2023

AvatarStudio：高保真和可动画三维头像从文本创建

PDF
TL;DR通过 AvatarStudio 生成高质量的、可动画的 3D 人物头像，首先使用低分辨率的基于 NeRF 的表示进行初步生成，然后结合 SMPL 引导关节活动增加明确的网格表示并支持头像动画和高分辨率渲染，在结果头像中引入基于 DensePose 的 2D 扩散模型以确保视角一致性和姿态可控性，利用 AvatarStudio 可以从文本中生成高质量的头像并具备动态效果，优于之前的方法，并且适用于多模态头像动画和风格引导头像创作等多个应用。
3d avatarstext-to-avatar methodsgenerative modelanimatable human avatarsdensepose-conditional diffusion model
发现论文，激发创造
  • AvatarVerse: 高质量 & 稳定的 3D 角色创建系统

    从高度定制的文本描述和姿势指导中创建富有表达力、多样化和高质量的 3D 头像是一项具有挑战性的任务。我们提出了 AvatarVerse，一个稳定的流水线，可以仅仅通过文本描述和姿势指导生成富有表达力和高质量的 3D 头像。

    Aug, 2023

  • AvatarStudio：基于文本的 3D 动态人头像编辑

    本文提出了 AvatarStudio—— 一种基于文本的方法，用于编辑动态全头人物角色的外观。该方法与现有的神经辐射场 (NeRF) 捕捉动态表现的工作相结合，并用文本 - 图像扩散模型对其进行编辑。经过我们视觉和数字方面的用户体验后，发现我们的方法优于现有的方法。

    Jun, 2023

  • 文本生成可动画三维化人形头像

    DreamHuman 是一种从文本描述自动生成逼真可动的三维人物头像模型的方法，该方法将大规模的文本到图像合成模型、神经辐射场和统计人体模型连接在一起，以新颖的建模和优化框架产生动态三维人物头像，具有高质量的纹理、实例特定的表面变形和多样化的外观、衣着、肤色和身体形态。

    Jun, 2023

  • DreamAvatar: 基于扩散模型的文本和形状指导下的 3D 人体化身生成

    DreamAvatar 是一个生成高质量、可控制姿态的 3D 人类头像的框架，它使用了可训练的 NeRF 生成 3D 点密度和颜色特征以及预先训练的文本到图像扩散模型提供 2D 自监督。通过 SMPL 模型提供粗略的姿势和形状指导生成，并引入了包含规范空间和观察空间的双重空间设计，它们之间由 NeRF 学习的变形场联系，从规范空间将优化的纹理和几何转移到目标位置头像，添加正常一致性正则化以获得更生动的几何和纹理。经过广泛的评估，证明 DreamAvatar 明显优于现有方法，为文本和形状引导的 3D 人体生成设立了新的技术水准。

    Apr, 2023

  • GETAvatar: 生成可动人形角色的纹理网格

    GETAvatar 是一个用于生成可动画的高质量纹理和几何结构的人型化身的生成模型，通过使用显式表面建模的关节式 3D 人体表示和学习自 3D 扫描数据的 2D 法线图以实现细致的表面细节，并通过基于光栅化的渲染器实现高分辨率图像生成。

    Oct, 2023

  • HeadStudio: 将文本转换为可动画的头像，使用 3D 高斯点阵

    该研究通过利用 3D 高斯点的语义驱动 FLAME 模型生成真实且动态的数字化头像，从文本提示中产生可动画头像，并在实验中表现出具有视觉吸引力的高质量外观。

    Feb, 2024

  • 动画艺术化头像：由单张图像生成可动画的三维艺术化头像

    通过一张单一的图像生成具有可控面部表情、头部姿态和肩膀运动的可动画 3D 感知艺术化人物形象，并进行实时动态演示。

    Mar, 2024

  • Text2Avatar：基于编码本驱动的身体可控属性的文本生成三维人体化身

    使用 Text2Avatar 生成的 3D 真实风格人物化身，可通过耦合的文本数据生成逼真的 3D 角色模型，从而帮助减少人物建模的成本和时间。

    Jan, 2024

  • AvatarGen：可动漫人类角色的三维生成模型

    本文提出 AvatarGen 方法，是第一种通过仅使用 2D 图像训练，能够生成高保真度外观和可控几何形状的、解耦式的可控人体动画的方法。

    Nov, 2022

  • AvatarBooth：高质量和可定制的 3D 人类化身生成

    AvatarBooth 是一种新方法，通过使用文本提示或特定图像生成高质量的 3D 头像，可以从捕捉的面部或身体图像中创建个性化头像，其利用双精度扩散模型控制头部和身体生成，增强了合成头部图像的多视图一致性，实现了高度逼真的头像生成，具有出色的渲染和几何质量。

    Jun, 2023