TELA:基于层次化方法的 3D 服装人体生成
基于新颖的物理解耦 - 语义感知扩散模型,本文提出了一个文本驱动的分层式 3D 人体生成框架,可以生成具有一致身体结构的 3D 人体,同时允许分层式的自由编辑。
Dec, 2023
本文提出一种名为 Text2Human 的控制性框架,用于基于文本的生成高质量和多样化的人类图像。在此框架下,我们建立了一个分层的纹理感知码书,以存储不同类型纹理的多尺度神经表征,并使用混合专家的扩散变换采样器采样码书中的索引。通过使用细粒度文本输入,生成的图像具有更高的质量和更多的多样性,拥有比现有方法更好的性能。
May, 2022
通过使用描述性文本启示和个性化模型,TeCH 提出了一种混合的三维重建方法,用于重建细节丰富的衣着人物的未见区域,并在重建准确性和渲染质量方面优于现有方法。
Aug, 2023
提出了首个具有统一扩散过程的分层式 3D 人体生成模型 HumanLiff,通过神经渲染和生成模型在三维人体生成方面取得了显著的进展。
Aug, 2023
该研究提出了一种基于文本描述的三维人体生成方法,采用跨模态注意力将构成人体渲染与提取的时尚语义融合,以控制服装的形状、面料和颜色,实现对三维人体的高效控制和生成。
May, 2023
CLOTH3D 是第一份大规模的 3D 服装人体序列的综合性合成数据集,并提供了基于条件变分自编码器和图卷积的生成模型,实现了在任何姿势和形状下逼真生成 3D 服装。
Dec, 2019
我们介绍了 Garment3DGen,一种从基础网格中合成 3D 服装资产的新方法,通过单个输入图像作为指导,用户可以根据真实和合成图像生成 3D 纹理服装。使用 Garment3DGen,用户可以生成所需的纹理 3D 服装而无需艺术家干预。
Mar, 2024
采用 “WordRobe” 框架,通过学习 3D 服装的潜在表示和对齐 CLIP 嵌入空间,实现了高质量纹理的基于文本的 3D 服装生成和编辑。通过控制网络实现全景一致纹理合成,生成时间大大缩短。WordRobe 生成的 3D 服装网格可以直接用于标准布料模拟和动画流程。
Mar, 2024
本文提出了一种新颖的文本到头像生成方法,分别生成人体和服装,并允许对生成的头像进行高质量的动画。与最近的文本到头像生成方法不同的是,我们的方法将人体、发型和服装分别表示,以克服联合表示方法对编辑或动画等下游任务的挑战。通过提出的 Sequentially Offset-SMPL (SO-SMPL) 模型,我们成功地实现了人体和服装的物理对齐。然后,我们设计了一种基于 Score Distillation Sampling (SDS) 的蒸馏框架,从文本提示生成所提出的 SO-SMPL 表示。与现有的文本到头像方法相比,我们的方法不仅在纹理和几何质量以及与文本提示的语义对齐上取得了更高的性能,还显著提高了角色动画、虚拟试穿和头像编辑的可视质量。
Dec, 2023
本文提出了一种基于文本引导的全身人像图像合成框架,采用基于注意力机制的潜在代码映射器,实现了比现有映射器更多元化对 StyleGAN 的控制,并在推理时引入特征空间掩码机制来避免因文本输入导致的不良影响,经定量和定性评估,证明了我们的方法比现有方法更能忠实地控制生成的图像。
May, 2023