ClotheDreamer: 基于文本引导的3D高斯服装生成
AvatarFusion利用一个潜在的扩散模型,同时从头到脚地生成人类逼真的头像,并将衣服与人物身体分割开来。AvatarFusion包括第一个脱离衣物的神经隐式头像模型,该模型采用了新的双体积渲染策略,将脱离衣物和衣物子模型在一个空间中渲染。我们还引入了一种新的优化方法,称为Pixel-Semantics Difference-Sampling(PS-DS),该方法在语义上将身体和衣物的生成分开,并生成各种服装风格。此外,由于我们的模型脱离了衣物,因此我们可以更换头像的衣服。
Jul, 2023
本文提出了一种新颖的文本到头像生成方法,分别生成人体和服装,并允许对生成的头像进行高质量的动画。与最近的文本到头像生成方法不同的是,我们的方法将人体、发型和服装分别表示,以克服联合表示方法对编辑或动画等下游任务的挑战。通过提出的Sequentially Offset-SMPL (SO-SMPL)模型,我们成功地实现了人体和服装的物理对齐。然后,我们设计了一种基于Score Distillation Sampling (SDS)的蒸馏框架,从文本提示生成所提出的SO-SMPL表示。与现有的文本到头像方法相比,我们的方法不仅在纹理和几何质量以及与文本提示的语义对齐上取得了更高的性能,还显著提高了角色动画、虚拟试穿和头像编辑的可视质量。
Dec, 2023
通过引入基于GPT的体系结构SewingGPT,结合文本条件嵌入和跨注意力,我们的框架可通过自然语言交互生成与计算机生成图形友好的服装。通过与其他最先进方法的综合评估和比较,我们的方法展示了最好的质量和输入提示的一致性。用户研究进一步验证了我们高质量的渲染结果,突显了它在实际生产环境中的实用性和潜力。
Jan, 2024
我们介绍了Garment3DGen,一种从基础网格中合成3D服装资产的新方法,通过单个输入图像作为指导,用户可以根据真实和合成图像生成3D纹理服装。使用Garment3DGen,用户可以生成所需的纹理3D服装而无需艺术家干预。
Mar, 2024
本研究针对数字化人物研究领域的衣物建模、动画和重建方面的最新发展进行了探讨,提出基于真实世界数据集训练的高保真度3D生成模型Design2Cloth,为时尚行业做出了重要贡献,并展示了该方法在从2D布料遮罩生成多样化、详细化服装以及从野外图像和3D扫描中实现高质量重建方面的优势。
Apr, 2024
通过Layered Gaussian Avatars (LayGA)提出将衣物和人体作为两个独立层次表示的方法,从多视角视频中实现真实感的可动衣物迁移,以实现高质量的几何重建、真实感渲染以及虚拟试穿,并在性能上优于其他基线方法。
May, 2024
本研究提出了一种名为GarmentDreamer的新型方法,它利用3D高斯喷雾(GS)作为指导,从文本提示中生成适用于仿真的3D服装网格。与使用由生成模型直接预测的多视图图像作为指导相比,我们的3DGS指导确保了服装变形和纹理合成的一致优化。通过全面的定性和定量实验证明了我们方法的有效性,并展示了GarmentDreamer相对于现有最先进方法的卓越性能。
May, 2024
从文本描述中创建和定制3D着装化身是一个关键且具有挑战性的任务。传统方法通常将人体和服装视为不可分割的,限制了用户自由混搭服装的能力。为了应对这一限制,我们提出了一种精心设计的框架LAyered Gaussian Avatar(LAGA),它能够创建具有各种服装的高保真分解化身。通过将服装与化身解耦,我们的框架使用户能够在服装级别方便地编辑化身。我们的方法通过使用一组高斯点组织成分层结构来对化身建模,其中每一层对应于特定的服装或人体本身。为了生成每层的高质量服装,我们引入了一种分层生成多样化服装的粗糙到精细的策略,以及一种新的双SDS损失函数,以保持生成的服装与化身组件(包括人体和其他服装)之间的一致性。此外,我们引入了三个正则化损失来指导高斯点的运动,实现服装转移,使得服装能够自由地转移到各种化身上。大量实验表明,我们的方法在生成3D着装人物方面超过了现有方法。
May, 2024
本研究解决了当前服装重建技术在处理复杂布料变形和身体姿态时的泛化能力不足的问题。我们提出GarVerseLOD,一个新颖的数据集和框架,通过收集6000个高质量的服装模型,采用细化的几何层次提升了重建的精度和鲁棒性。实验结果表明,GarVerseLOD在真实图像中的服装重建质量显著优于前沿方法,具有重要的应用潜力。
Nov, 2024