ICCVAug, 2023

DiffCloth：基于扩散的衣物综合与操作：结构交互语义对齐

PDF
TL;DR通过 DiffCloth 实现的扩散模型结构对齐的跨模态服装合成和操作方法，在时尚设计领域具有灵活的组合性，支持通过替换文本提示中的属性短语实现结果的灵活操作，并且利用固有的结构信息产生具有区域一致性的最新服装合成结果。
cross-modal garment synthesisdiffusion-based pipelinepart-level cross-modal alignmentsemantic-bundled cross-attentionmanipulation of generated results
发现论文，激发创造
  • ARMANI: 统一的跨模态时装设计中零件级服装 - 文本对齐

    本文提出了一种新的跨模态时尚图像合成方法 ——MaskCLIP，并进一步构建了一个名为 ARMANI 的统一交叉模态时尚设计师，它能够根据真实图像的控制信号分布对其进行图像合成，且在多项合成任务中表现出色，生成的图像效果逼真自然。

    Aug, 2022

  • FashionSD-X: 多模态时尚服装合成基于潜在扩散

    这篇研究论文介绍了一种新颖的生成性流程，通过使用潜在扩散模型改变了时尚设计过程，利用 ControlNet 和 LoRA 微调生成高质量图像，从文本和草图等多模态输入生成。我们结合草图数据，对包括 Multimodal Dress Code 和 VITON-HD 在内的最先进的虚拟试穿数据集进行了整合和增强。通过使用 FID、CLIP 评分和 KID 等指标进行评估，我们的模型明显优于传统稳定扩散模型。结果不仅突显了我们模型在生成符合时尚要求的输出方面的效果，也凸显了扩散模型在改革时尚设计工作流程中的潜力。这项研究为时尚设计和表达领域提供了更具互动性、个性化和技术丰富的方法，弥合了创意愿景与实际应用之间的差距。

    Apr, 2024

  • 多阶段扩散模型的层次化时装设计

    提出了一种名为 HieraFashDiff 的新型时尚设计方法，通过使用共享的多阶段扩散模型，包含高层设计概念和低层服装属性的层次结构，允许设计师在高级提示后逐步交互式编辑以添加低层属性。在我们新建的层次时尚数据集上进行的全面实验表明，我们提出的方法优于其他最先进的竞争方法。

    Jan, 2024

  • 多模态服装设计师：基于人体中心的潜在扩散模型用于时尚图像编辑

    本文介绍了一种基于 latent diffusion models 的新型架构，通过多模态提示（文本、人体姿势和服装草图）引导生成人体中心时尚图像，同时扩展了两个已有的时尚数据集，证明了该方法的有效性。

    Apr, 2023

  • 魔力服装：可控的服装驱动图像合成

    基于潜在扩散模型的网络架构，Magic Clothing 提出了一种用于未被探索的以服装为驱动的图像合成任务的模型，并进行了广泛实验证明其在各种条件控制下实现了最先进的结果。

    Apr, 2024

  • 稳定服装：通过稳定扩散进行基于服装的生成

    StableGarment 是一个统一框架，用于解决以服装为中心的生成任务，包括文本到图像、可控的文本到图像、风格化的文本到图像和鲁棒的虚拟试衣。通过开发一个具有加性自注意力 (ASA) 层的服装编码器和专用的试衣 ControlNet，以及生成高质量合成数据的新数据引擎，我们的方法在虚拟试衣方面达到了最先进的结果，并在各种以服装为中心的图像生成方面展示了高灵活性和广泛的潜在应用。

    Mar, 2024

  • DeepCloth: 基于神经网络的服装表征方法用于形状和风格编辑

    本文提出了 DeepCloth，它是一个针对服装表示、重建、动画和编辑的统一框架，它包含了三个组件：拓扑感知的 UV 位置图、连续特征空间中的嵌入和服装动画方法。这个方法可以实现更加灵活、通用的 3D 服装数字化框架。

    Nov, 2020

  • 时尚图像编辑的多模态条件化潜扩散模型

    该论文探讨了多模态条件下的时尚图像编辑任务，提出了一种基于多模态指导的生成方法，利用时尚设计的文本、人体姿势、服装草图和面料纹理等多模态提示生成以人为中心的时尚图像。实验证明了提出方法在现实感和一致性方面的有效性。

    Mar, 2024

  • HumanCoser：基于语义感知扩散模型的分层三维人体生成

    基于新颖的物理解耦 - 语义感知扩散模型，本文提出了一个文本驱动的分层式 3D 人体生成框架，可以生成具有一致身体结构的 3D 人体，同时允许分层式的自由编辑。

    Dec, 2023

  • 无需训练的结构扩散引导的组合文本到图像合成

    本文基于扩散模型的可控属性，将语言结构与扩散过程相结合，进一步提高了 T2I 模型的组合能力，特别是更准确的属性绑定和更好的图像组合，这得益于跨注意层的帮助和语言洞察力。

    Dec, 2022