ClotheDreamer: 基于文本引导的 3D 高斯服装生成
本研究提出了一种名为 GarmentDreamer 的新型方法,它利用 3D 高斯喷雾(GS)作为指导,从文本提示中生成适用于仿真的 3D 服装网格。与使用由生成模型直接预测的多视图图像作为指导相比,我们的 3DGS 指导确保了服装变形和纹理合成的一致优化。通过全面的定性和定量实验证明了我们方法的有效性,并展示了 GarmentDreamer 相对于现有最先进方法的卓越性能。
May, 2024
我们介绍了 Garment3DGen,一种从基础网格中合成 3D 服装资产的新方法,通过单个输入图像作为指导,用户可以根据真实和合成图像生成 3D 纹理服装。使用 Garment3DGen,用户可以生成所需的纹理 3D 服装而无需艺术家干预。
Mar, 2024
BrightDreamer 是一种端到端的单阶段方法,可以实现通用且快速(77 毫秒)的文本到 3D 生成,通过估算 3D 变形、形状基准位置和各种属性来生成百万个 3D Gaussian。
Mar, 2024
提出了一种名为 GaussianDreamerPro 的新框架,通过将高斯函数与合理几何形状相结合,逐步丰富几何与外观,构建了与以前方法相比具有显着改进细节和质量的 3D 高斯函数绑定网格的生成资产,可无缝集成于下游操作流水线,大大扩展了其在广泛应用中的潜力。
Jun, 2024
基于文本提示生成真实的 3D 人体是一项令人向往但具有挑战性的任务。本文提出了一种高效而有效的框架 HumanGaussian,通过结构感知的 SDS 和退火负向提示引导,以及适应性高斯喷洒渲染器,在细节和训练时间方面取得了优越的性能。
Nov, 2023
本文提出了一种新颖的文本到头像生成方法,分别生成人体和服装,并允许对生成的头像进行高质量的动画。与最近的文本到头像生成方法不同的是,我们的方法将人体、发型和服装分别表示,以克服联合表示方法对编辑或动画等下游任务的挑战。通过提出的 Sequentially Offset-SMPL (SO-SMPL) 模型,我们成功地实现了人体和服装的物理对齐。然后,我们设计了一种基于 Score Distillation Sampling (SDS) 的蒸馏框架,从文本提示生成所提出的 SO-SMPL 表示。与现有的文本到头像方法相比,我们的方法不仅在纹理和几何质量以及与文本提示的语义对齐上取得了更高的性能,还显著提高了角色动画、虚拟试穿和头像编辑的可视质量。
Dec, 2023
从文本描述中创建和定制 3D 着装化身是一个关键且具有挑战性的任务。传统方法通常将人体和服装视为不可分割的,限制了用户自由混搭服装的能力。为了应对这一限制,我们提出了一种精心设计的框架 LAyered Gaussian Avatar(LAGA),它能够创建具有各种服装的高保真分解化身。通过将服装与化身解耦,我们的框架使用户能够在服装级别方便地编辑化身。我们的方法通过使用一组高斯点组织成分层结构来对化身建模,其中每一层对应于特定的服装或人体本身。为了生成每层的高质量服装,我们引入了一种分层生成多样化服装的粗糙到精细的策略,以及一种新的双 SDS 损失函数,以保持生成的服装与化身组件(包括人体和其他服装)之间的一致性。此外,我们引入了三个正则化损失来指导高斯点的运动,实现服装转移,使得服装能够自由地转移到各种化身上。大量实验表明,我们的方法在生成 3D 着装人物方面超过了现有方法。
May, 2024
AvatarFusion 利用一个潜在的扩散模型,同时从头到脚地生成人类逼真的头像,并将衣服与人物身体分割开来。AvatarFusion 包括第一个脱离衣物的神经隐式头像模型,该模型采用了新的双体积渲染策略,将脱离衣物和衣物子模型在一个空间中渲染。我们还引入了一种新的优化方法,称为 Pixel-Semantics Difference-Sampling(PS-DS),该方法在语义上将身体和衣物的生成分开,并生成各种服装风格。此外,由于我们的模型脱离了衣物,因此我们可以更换头像的衣服。
Jul, 2023
通过引入基于 GPT 的体系结构 SewingGPT,结合文本条件嵌入和跨注意力,我们的框架可通过自然语言交互生成与计算机生成图形友好的服装。通过与其他最先进方法的综合评估和比较,我们的方法展示了最好的质量和输入提示的一致性。用户研究进一步验证了我们高质量的渲染结果,突显了它在实际生产环境中的实用性和潜力。
Jan, 2024
使用 3D 高斯喷洒(3DGS),我们介绍了一种从单目视频中创建可以动画化的人体化身的方法。通过学习非刚性变形网络和引入不同性的正则化,我们的方法在训练和推理速度上比现有的技术分别快 400 倍和 250 倍,并实现了与最先进方法相媲美甚至更好的性能。
Dec, 2023