Dec, 2023

从文本描述中生成解离的服装化身

HTML
PDF
TL;DR本文提出了一种新颖的文本到头像生成方法，分别生成人体和服装，并允许对生成的头像进行高质量的动画。与最近的文本到头像生成方法不同的是，我们的方法将人体、发型和服装分别表示，以克服联合表示方法对编辑或动画等下游任务的挑战。通过提出的Sequentially Offset-SMPL (SO-SMPL)模型，我们成功地实现了人体和服装的物理对齐。然后，我们设计了一种基于Score Distillation Sampling (SDS)的蒸馏框架，从文本提示生成所提出的SO-SMPL表示。与现有的文本到头像方法相比，我们的方法不仅在纹理和几何质量以及与文本提示的语义对齐上取得了更高的性能，还显著提高了角色动画、虚拟试穿和头像编辑的可视质量。
发现论文，激发创造
  • AvatarFusion: 2D扩散的零样本生成不受服装影响的3D化身

    AvatarFusion利用一个潜在的扩散模型，同时从头到脚地生成人类逼真的头像，并将衣服与人物身体分割开来。AvatarFusion包括第一个脱离衣物的神经隐式头像模型，该模型采用了新的双体积渲染策略，将脱离衣物和衣物子模型在一个空间中渲染。我们还引入了一种新的优化方法，称为Pixel-Semantics Difference-Sampling（PS-DS），该方法在语义上将身体和衣物的生成分开，并生成各种服装风格。此外，由于我们的模型脱离了衣物，因此我们可以更换头像的衣服。

    Jul, 2023

  • 学习具有混合三维表示的分离化身

    DELTA采用混合的3D表示方法对人体进行建模，通过将网格与体积渲染相结合，实现了人体、服装和头发的解耦合，有效实现了重建、试穿和发型转换等应用。

    Sep, 2023

  • 基于文本指导的合成型3D人物生成与编辑

    通过使用3D面部化身、文本引导生成、组合式化身、NeRF和虚拟试穿，我们提出了一个新方法（TECA）来创建逼真的3D面部化身，同时实现可编辑性和特征转移。

    Sep, 2023

  • AvatarStudio：高保真和可动画三维头像从文本创建

    通过AvatarStudio生成高质量的、可动画的3D人物头像，首先使用低分辨率的基于NeRF的表示进行初步生成，然后结合SMPL引导关节活动增加明确的网格表示并支持头像动画和高分辨率渲染，在结果头像中引入基于DensePose的2D扩散模型以确保视角一致性和姿态可控性，利用AvatarStudio可以从文本中生成高质量的头像并具备动态效果，优于之前的方法，并且适用于多模态头像动画和风格引导头像创作等多个应用。

    Nov, 2023

  • Text2Avatar：基于编码本驱动的身体可控属性的文本生成三维人体化身

    使用Text2Avatar生成的3D真实风格人物化身，可通过耦合的文本数据生成逼真的3D角色模型，从而帮助减少人物建模的成本和时间。

    Jan, 2024

  • TELA：基于层次化方法的3D服装人体生成

    本文通过逐层式的人体服装表示和渐进优化策略，从文本描述生成3D穿衣人模型，以实现高质量的分离效果，并支持虚拟试穿等应用。

    Apr, 2024

  • LAGA: 分层3D角色生成与定制

    从文本描述中创建和定制3D着装化身是一个关键且具有挑战性的任务。传统方法通常将人体和服装视为不可分割的，限制了用户自由混搭服装的能力。为了应对这一限制，我们提出了一种精心设计的框架LAyered Gaussian Avatar（LAGA），它能够创建具有各种服装的高保真分解化身。通过将服装与化身解耦，我们的框架使用户能够在服装级别方便地编辑化身。我们的方法通过使用一组高斯点组织成分层结构来对化身建模，其中每一层对应于特定的服装或人体本身。为了生成每层的高质量服装，我们引入了一种分层生成多样化服装的粗糙到精细的策略，以及一种新的双SDS损失函数，以保持生成的服装与化身组件（包括人体和其他服装）之间的一致性。此外，我们引入了三个正则化损失来指导高斯点的运动，实现服装转移，使得服装能够自由地转移到各种化身上。大量实验表明，我们的方法在生成3D着装人物方面超过了现有方法。

    May, 2024

  • SMPLX-Lite：带有丰富几何和纹理注释的逼真驾驶化身基准

    提出了一种新的参数化模型SMPLX-Lite-D，可以适应扫描网格的详细几何结构，同时保持脸部、手部和脚部区域的稳定几何结构。利用SMPLX-Lite数据集，训练了一个条件变分自编码器模型，以人体姿势和面部关键点作为输入，生成逼真的可驾驶人体化身。

    May, 2024

  • ClotheDreamer: 基于文本引导的3D高斯服装生成

    通过ClotheDreamer, 一种基于高斯的方法，从文本提示中生成可穿戴的、适合生产的3D服装，可用于虚拟试穿和支持精确动画。

    Jun, 2024

  • 芭比：文本到芭比风格的3D头像

    本研究解决了现有文本引导的3D头像生成方法在内体和服饰之间难以做到细粒度解耦和高保真建模的问题。提出的Barbie框架采用语义对齐的分离模型，实现了头像的细粒度解耦，并通过专家模型优化以确保领域特定的保真度。实验表明，Barbie在生成穿戴人类和服饰方面的性能优于现有方法，具有更高的灵活性和一致性。

    Aug, 2024