May, 2023

ZeroAvatar: 从单张图像生成零样本 3D 头像

PDF
TL;DR本研究提出了一种名为 ZeroAvatar 的方法，它使用人体先验约束来保持更复杂的图形（如人体）的几何形状以及完成不可见部位的纹理修复，并且在优化的图像到 3D 人体生成中表现出色，优于存在的一些零样本图像到 3D 方法。
text-to-image generationzero-shot 3d shape generationscore distillationneural radiance fieldhuman body
发现论文，激发创造
  • 基于文本条件的语境化头像生成用于零样本定制化

    本文提出了一个零射击的管道，该管道可以通过捕捉用户的身份以令人愉悦的方式进行头像生成，具有个性化的图像生成特征，此外，作者使用大规模图像数据集学习人类 3D 姿态参数，克服了动作捕捉数据集的局限性。

    Apr, 2023

  • DreamAvatar: 基于扩散模型的文本和形状指导下的 3D 人体化身生成

    DreamAvatar 是一个生成高质量、可控制姿态的 3D 人类头像的框架，它使用了可训练的 NeRF 生成 3D 点密度和颜色特征以及预先训练的文本到图像扩散模型提供 2D 自监督。通过 SMPL 模型提供粗略的姿势和形状指导生成，并引入了包含规范空间和观察空间的双重空间设计，它们之间由 NeRF 学习的变形场联系，从规范空间将优化的纹理和几何转移到目标位置头像，添加正常一致性正则化以获得更生动的几何和纹理。经过广泛的评估，证明 DreamAvatar 明显优于现有方法，为文本和形状引导的 3D 人体生成设立了新的技术水准。

    Apr, 2023

  • One2Avatar: 少样本用户自适应的生成式隐式头像

    使用少量图像创建高质量的个性化头像，通过学习生成模型和 3DMM 锚定的神经辐射场骨干构建先验，实现基于少量输入图像的自动解码，优化 3DMM 拟合和相机校准以改进少样本自适应，开创了创建更高效个性化头像的道路，超越现有最先进的方法。

    Feb, 2024

  • AvatarCLIP: 零样本文本驱动的 3D 头像生成与动画

    提出了一种使用自然语言驱动的零样本文本框架 --AvatarCLIP，用于三维头像的生成和动画制作，并利用 CLIP 来监督神经人类的生成，实现了超强的零样本能力。

    May, 2022

  • AvatarFusion: 2D 扩散的零样本生成不受服装影响的 3D 化身

    AvatarFusion 利用一个潜在的扩散模型，同时从头到脚地生成人类逼真的头像，并将衣服与人物身体分割开来。AvatarFusion 包括第一个脱离衣物的神经隐式头像模型，该模型采用了新的双体积渲染策略，将脱离衣物和衣物子模型在一个空间中渲染。我们还引入了一种新的优化方法，称为 Pixel-Semantics Difference-Sampling（PS-DS），该方法在语义上将身体和衣物的生成分开，并生成各种服装风格。此外，由于我们的模型脱离了衣物，因此我们可以更换头像的衣服。

    Jul, 2023

  • 使用文本到图像扩散模型生成带有关节的 3D 头像

    本文提出了一种新的基于 3D 可塑模型（3DMM）的文本引导头部生成方法，利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理以生成和文本描述一致的 3D 头部化身，以此在一定程度上提高 3D 头部生成的精度和多样性。

    Jul, 2023

  • NOFA：基于 NeRF 的一次性面部头像重建

    提出了一种只需要一张源图像就能重建高保真度的三维面部角色建模方法，通过使用 3D GAN 的生成先验和有效的编码器 - 解码器网络来重建源图像的规范神经体积，同时使用补偿网络来补充面部细节，并引入变形场来对面部表情进行精细控制。与多种先进方法相比，实验结果显示合成效果更加优越。

    Jul, 2023

  • 基于形状引导扩散的单图像三维人体数字化

    通过将高容量的二维扩散模型与形状引导扩散相结合并利用逆渲染技术，从单一图像中逐步合成多个视角的完全纹理化高分辨率三维网格，实现了广泛的服装人物 360 度合成的照片级别结果。

    Nov, 2023

  • 通用单次神经头像模拟

    该研究提出了一种通过对单视角幅面图像进行重建和动画化的三维头像，通过三个三角面分别捕捉源图像的粗略三维几何，详细外观以及目标图像的表情实现，再通过超分辨率模块的渲染进行填充并通过单向传递网络的高效性进行动画。实验表明，该方法在重建和动画方面优于当前最先进的基线方法，并且对新的验证数据集有很好的泛化能力。

    Jun, 2023

  • AvatarStudio：基于文本的 3D 动态人头像编辑

    本文提出了 AvatarStudio—— 一种基于文本的方法，用于编辑动态全头人物角色的外观。该方法与现有的神经辐射场 (NeRF) 捕捉动态表现的工作相结合，并用文本 - 图像扩散模型对其进行编辑。经过我们视觉和数字方面的用户体验后，发现我们的方法优于现有的方法。

    Jun, 2023