May, 2023

DreamWaltz：使用复杂的三维动画化头像制作场景

PDF
TL;DRDreamWaltz 是一个新型的框架，用于基于文本指导和参数人体先验生成和创建复杂的 3D 化身，该方法使用 3D 一致、遮挡感知的分数蒸馏采样优化隐式神经表示，并通过 3D 感知骨骼调节提供视角对齐的监督，其使复杂的化身生成更加完美且没有伪影和多个面，同时，该方法学习了一个可动画的、通用的化身表征，能够将任意的姿态映射到规范的姿态表示，其能有效地创建可以承担复杂形状、外观和新颖动画姿态的 3D 化身，使其能够与不同构场景进行交互。
发现论文，激发创造
  • AvatarStudio：高保真和可动画三维头像从文本创建

    通过 AvatarStudio 生成高质量的、可动画的 3D 人物头像，首先使用低分辨率的基于 NeRF 的表示进行初步生成，然后结合 SMPL 引导关节活动增加明确的网格表示并支持头像动画和高分辨率渲染，在结果头像中引入基于 DensePose 的 2D 扩散模型以确保视角一致性和姿态可控性，利用 AvatarStudio 可以从文本中生成高质量的头像并具备动态效果，优于之前的方法，并且适用于多模态头像动画和风格引导头像创作等多个应用。

    Nov, 2023

  • 动画艺术化头像：由单张图像生成可动画的三维艺术化头像

    通过一张单一的图像生成具有可控面部表情、头部姿态和肩膀运动的可动画 3D 感知艺术化人物形象，并进行实时动态演示。

    Mar, 2024

  • DreamAvatar: 基于扩散模型的文本和形状指导下的 3D 人体化身生成

    DreamAvatar 是一个生成高质量、可控制姿态的 3D 人类头像的框架，它使用了可训练的 NeRF 生成 3D 点密度和颜色特征以及预先训练的文本到图像扩散模型提供 2D 自监督。通过 SMPL 模型提供粗略的姿势和形状指导生成，并引入了包含规范空间和观察空间的双重空间设计，它们之间由 NeRF 学习的变形场联系，从规范空间将优化的纹理和几何转移到目标位置头像，添加正常一致性正则化以获得更生动的几何和纹理。经过广泛的评估，证明 DreamAvatar 明显优于现有方法，为文本和形状引导的 3D 人体生成设立了新的技术水准。

    Apr, 2023

  • AvatarVerse: 高质量 & 稳定的 3D 角色创建系统

    从高度定制的文本描述和姿势指导中创建富有表达力、多样化和高质量的 3D 头像是一项具有挑战性的任务。我们提出了 AvatarVerse，一个稳定的流水线，可以仅仅通过文本描述和姿势指导生成富有表达力和高质量的 3D 头像。

    Aug, 2023

  • AvatarGen：可动漫人类角色的三维生成模型

    本文提出 AvatarGen 方法，是第一种通过仅使用 2D 图像训练，能够生成高保真度外观和可控几何形状的、解耦式的可控人体动画的方法。

    Nov, 2022

  • 文本生成可动画三维化人形头像

    DreamHuman 是一种从文本描述自动生成逼真可动的三维人物头像模型的方法，该方法将大规模的文本到图像合成模型、神经辐射场和统计人体模型连接在一起，以新颖的建模和优化框架产生动态三维人物头像，具有高质量的纹理、实例特定的表面变形和多样化的外观、衣着、肤色和身体形态。

    Jun, 2023

  • UltrAvatar: 逼真可动的三维头像扩散模型与指导纹理

    提出了一种新颖的 3D 人物生成方法 UltrAvatar，通过增强几何保真度和质感材质的质量来生成更真实且具有物理基础渲染（PBR）效果的 3D 人物模型，克服了光照影响和获得更多面部细节的挑战，并在实验中展示了该方法的有效性和鲁棒性。

    Jan, 2024

  • 面部可动态建模的民主化

    该研究提出了一种新的方法，使用现实世界的图像信息来重建几何形状，进而创建个性化的动画系统，从而大幅降低成本和硬件要求。

    Jan, 2024

  • AvatarStudio：基于文本的 3D 动态人头像编辑

    本文提出了 AvatarStudio—— 一种基于文本的方法，用于编辑动态全头人物角色的外观。该方法与现有的神经辐射场 (NeRF) 捕捉动态表现的工作相结合，并用文本 - 图像扩散模型对其进行编辑。经过我们视觉和数字方面的用户体验后，发现我们的方法优于现有的方法。

    Jun, 2023

  • 双立体：手语三维动作重建与生成

    通过使用基于变分自编码器的 Transformer 结构和课程学习策略，我们提出了 SignAvatar 框架，在缺乏真实世界中 3D 手语数据、手语动作复杂微妙性和多模态手语语义交叉理解的情况下具备单词级手语重建和生成的能力。我们贡献的 ASL3DWord 数据集包含了身体、手部和面部的 3D 关节旋转数据，通过大量实验展示了 SignAvatar 在重建和自动生成方面的卓越能力。

    May, 2024