Apr, 2024

FashionSD-X: 多模态时尚服装合成基于潜在扩散

PDF
TL;DR这篇研究论文介绍了一种新颖的生成性流程，通过使用潜在扩散模型改变了时尚设计过程，利用 ControlNet 和 LoRA 微调生成高质量图像，从文本和草图等多模态输入生成。我们结合草图数据，对包括 Multimodal Dress Code 和 VITON-HD 在内的最先进的虚拟试穿数据集进行了整合和增强。通过使用 FID、CLIP 评分和 KID 等指标进行评估，我们的模型明显优于传统稳定扩散模型。结果不仅突显了我们模型在生成符合时尚要求的输出方面的效果，也凸显了扩散模型在改革时尚设计工作流程中的潜力。这项研究为时尚设计和表达领域提供了更具互动性、个性化和技术丰富的方法，弥合了创意愿景与实际应用之间的差距。
发现论文，激发创造
  • 多模态服装设计师：基于人体中心的潜在扩散模型用于时尚图像编辑

    本文介绍了一种基于 latent diffusion models 的新型架构，通过多模态提示（文本、人体姿势和服装草图）引导生成人体中心时尚图像，同时扩展了两个已有的时尚数据集，证明了该方法的有效性。

    Apr, 2023

  • 时尚图像编辑的多模态条件化潜扩散模型

    该论文探讨了多模态条件下的时尚图像编辑任务，提出了一种基于多模态指导的生成方法，利用时尚设计的文本、人体姿势、服装草图和面料纹理等多模态提示生成以人为中心的时尚图像。实验证明了提出方法在现实感和一致性方面的有效性。

    Mar, 2024

  • 使用 LLMs 和潜在扩散模型进行互动式时尚内容生成

    该研究提出了使用基于能量的模型（EBMs）的扩散模型的等价性，建议组成多个概率分布的方法，并提出了一个通过 LLM 引导文本生成图像生成新时尚装配和虚拟试穿的流程，其结果表明使用 LLM 生成具有全球创意和文化多样性的时尚风格并减少偏见。

    May, 2023

  • 多阶段扩散模型的层次化时装设计

    提出了一种名为 HieraFashDiff 的新型时尚设计方法，通过使用共享的多阶段扩散模型，包含高层设计概念和低层服装属性的层次结构，允许设计师在高级提示后逐步交互式编辑以添加低层属性。在我们新建的层次时尚数据集上进行的全面实验表明，我们提出的方法优于其他最先进的竞争方法。

    Jan, 2024

  • FashionFlow: 利用扩散模型从静态图像生成动态时尚视频

    我们的研究介绍了一种名为 FashionFlow 的新型图像 - 视频生成器。通过利用扩散模型，我们能够从静止图像中创建短视频。我们的方法涉及开发和连接与扩散模型相关的组件，这使得我们的工作与众不同。这些组件包括使用伪 3D 卷积层高效生成视频。VAE 和 CLIP 编码器从静止图像中捕获重要特征以影响扩散模型。我们的研究展示了成功合成时尚视频，展示了模特从多个角度展示服装的合身和外观。我们的发现对于改进和提升在线时尚行业的购物体验具有巨大潜力。

    Sep, 2023

  • LaDI-VTON: 潜在扩散文本反演增强虚拟试穿

    LaDI-VTON 是应用于 Virtual Try-On 任务的第一款基于 Latent Diffusion textual Inversion 的模型，实验结果表明，该模型在保持纹理和细节方面比竞争对手表现更佳，并以显著的优势取得了里程碑式的成果。

    May, 2023

  • DiffCloth：基于扩散的衣物综合与操作：结构交互语义对齐

    通过 DiffCloth 实现的扩散模型结构对齐的跨模态服装合成和操作方法，在时尚设计领域具有灵活的组合性，支持通过替换文本提示中的属性短语实现结果的灵活操作，并且利用固有的结构信息产生具有区域一致性的最新服装合成结果。

    Aug, 2023

  • 质量与数量：揭示百万高质量时尚设计文本到图像合成的图片

    AI 与时尚设计的融合已成为一个前景光明的研究领域，本论文提出了首个 Fashion-Diffusion 数据集，该数据集包含超过一百万高质量的时尚图片和详细的文本描述，并提供了多个用于评估时尚设计模型性能的数据集，推动了 AI 驱动的时尚设计领域的标准化和未来研究的进展。

    Nov, 2023

  • 艺术生成的扩散式创意探索

    利用最新的扩散模型生成创意艺术，通过将文本文档与粗略草图作为辅助信息进行模型训练，取得了令人满意的实验结果。

    Jul, 2023

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022