Jul, 2023

AvatarFusion: 2D 扩散的零样本生成不受服装影响的 3D 化身

PDF
TL;DRAvatarFusion 利用一个潜在的扩散模型，同时从头到脚地生成人类逼真的头像，并将衣服与人物身体分割开来。AvatarFusion 包括第一个脱离衣物的神经隐式头像模型，该模型采用了新的双体积渲染策略，将脱离衣物和衣物子模型在一个空间中渲染。我们还引入了一种新的优化方法，称为 Pixel-Semantics Difference-Sampling（PS-DS），该方法在语义上将身体和衣物的生成分开，并生成各种服装风格。此外，由于我们的模型脱离了衣物，因此我们可以更换头像的衣服。
发现论文，激发创造
  • 为可动人形模型建模衣服的单独层

    通过多视角捕捉视频对具有显式服装表示的可动衣物人形头像进行建模，采用二层网格表示注册每个 3D 扫描，通过时序卷积网络来预测衣物潜在编码以实现人体动力学和服装状态的交互作用。

    Jun, 2021

  • ZeroAvatar: 从单张图像生成零样本 3D 头像

    本研究提出了一种名为 ZeroAvatar 的方法，它使用人体先验约束来保持更复杂的图形（如人体）的几何形状以及完成不可见部位的纹理修复，并且在优化的图像到 3D 人体生成中表现出色，优于存在的一些零样本图像到 3D 方法。

    May, 2023

  • HumanCoser：基于语义感知扩散模型的分层三维人体生成

    基于新颖的物理解耦 - 语义感知扩散模型，本文提出了一个文本驱动的分层式 3D 人体生成框架，可以生成具有一致身体结构的 3D 人体，同时允许分层式的自由编辑。

    Dec, 2023

  • AvatarCLIP: 零样本文本驱动的 3D 头像生成与动画

    提出了一种使用自然语言驱动的零样本文本框架 --AvatarCLIP，用于三维头像的生成和动画制作，并利用 CLIP 来监督神经人类的生成，实现了超强的零样本能力。

    May, 2022

  • 从文本描述中生成解离的服装化身

    本文提出了一种新颖的文本到头像生成方法，分别生成人体和服装，并允许对生成的头像进行高质量的动画。与最近的文本到头像生成方法不同的是，我们的方法将人体、发型和服装分别表示，以克服联合表示方法对编辑或动画等下游任务的挑战。通过提出的 Sequentially Offset-SMPL (SO-SMPL) 模型，我们成功地实现了人体和服装的物理对齐。然后，我们设计了一种基于 Score Distillation Sampling (SDS) 的蒸馏框架，从文本提示生成所提出的 SO-SMPL 表示。与现有的文本到头像方法相比，我们的方法不仅在纹理和几何质量以及与文本提示的语义对齐上取得了更高的性能，还显著提高了角色动画、虚拟试穿和头像编辑的可视质量。

    Dec, 2023

  • 使用文本到图像扩散模型生成带有关节的 3D 头像

    本文提出了一种新的基于 3D 可塑模型（3DMM）的文本引导头部生成方法，利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理以生成和文本描述一致的 3D 头部化身，以此在一定程度上提高 3D 头部生成的精度和多样性。

    Jul, 2023

  • 基于文本条件的语境化头像生成用于零样本定制化

    本文提出了一个零射击的管道，该管道可以通过捕捉用户的身份以令人愉悦的方式进行头像生成，具有个性化的图像生成特征，此外，作者使用大规模图像数据集学习人类 3D 姿态参数，克服了动作捕捉数据集的局限性。

    Apr, 2023

  • ClotheDreamer: 基于文本引导的 3D 高斯服装生成

    通过 ClotheDreamer, 一种基于高斯的方法，从文本提示中生成可穿戴的、适合生产的 3D 服装，可用于虚拟试穿和支持精确动画。

    Jun, 2024

  • StyleAvatar3D: 基于图像文本扩散模型实现高保真 3D 头像生成

    本文提出了一种新的方法，结合使用预训练的图像文本扩散模型和基于生成对抗网络的 3D 生成网络，用于生成高质量，风格化的 3D 头像，并在视觉质量和多样性方面优于现有最先进的方法。

    May, 2023

  • AG3D: 从 2D 图像集合中学习生成 3D 头像

    本文提出了一种从 2D 图像生成逼真的 3D 人物的新方法，并使用多个辨别器和 2D 法线图形式的几何线索来训练模型，取得了在几何和外观方面超过以前 3D 和关节感知方法的性能，通过系统的消融研究验证了模型的有效性和每个组件的重要性。

    May, 2023