Apr, 2023

多模态服装设计师：基于人体中心的潜在扩散模型用于时尚图像编辑

PDF
TL;DR本文介绍了一种基于 latent diffusion models 的新型架构，通过多模态提示（文本、人体姿势和服装草图）引导生成人体中心时尚图像，同时扩展了两个已有的时尚数据集，证明了该方法的有效性。
fashion illustrationcomputer visionmultimodallatent diffusion modelsfashion datasets
发现论文，激发创造
  • 时尚图像编辑的多模态条件化潜扩散模型

    该论文探讨了多模态条件下的时尚图像编辑任务，提出了一种基于多模态指导的生成方法，利用时尚设计的文本、人体姿势、服装草图和面料纹理等多模态提示生成以人为中心的时尚图像。实验证明了提出方法在现实感和一致性方面的有效性。

    Mar, 2024

  • FashionSD-X: 多模态时尚服装合成基于潜在扩散

    这篇研究论文介绍了一种新颖的生成性流程，通过使用潜在扩散模型改变了时尚设计过程，利用 ControlNet 和 LoRA 微调生成高质量图像，从文本和草图等多模态输入生成。我们结合草图数据，对包括 Multimodal Dress Code 和 VITON-HD 在内的最先进的虚拟试穿数据集进行了整合和增强。通过使用 FID、CLIP 评分和 KID 等指标进行评估，我们的模型明显优于传统稳定扩散模型。结果不仅突显了我们模型在生成符合时尚要求的输出方面的效果，也凸显了扩散模型在改革时尚设计工作流程中的潜力。这项研究为时尚设计和表达领域提供了更具互动性、个性化和技术丰富的方法，弥合了创意愿景与实际应用之间的差距。

    Apr, 2024

  • M6-Fashion：高保真多模态图像生成与编辑

    本文提出了一种统一的两阶段框架 ——M6-Fashion，将样式先验知识和多模态控制的灵活性融合在一起，实现时尚设计中的实用 AI 辅助，取得了优秀的成果。

    May, 2022

  • 使用 LLMs 和潜在扩散模型进行互动式时尚内容生成

    该研究提出了使用基于能量的模型（EBMs）的扩散模型的等价性，建议组成多个概率分布的方法，并提出了一个通过 LLM 引导文本生成图像生成新时尚装配和虚拟试穿的流程，其结果表明使用 LLM 生成具有全球创意和文化多样性的时尚风格并减少偏见。

    May, 2023

  • 优化虚拟试穿的扩散模型

    本研究提出了一种改进的图像虚拟试穿的扩散模型（IDM-VTON），该模型通过使用高级语义和低级特征融合的方法，提高了服装的真实性，并生成了具有真实感的虚拟试穿图像。该研究还介绍了一种使用人物 - 服装图像对进行个性化定制的方法，并通过实验证明了该方法在保留服装细节和生成真实虚拟试穿图像方面的有效性。

    Mar, 2024

  • 多阶段扩散模型的层次化时装设计

    提出了一种名为 HieraFashDiff 的新型时尚设计方法，通过使用共享的多阶段扩散模型，包含高层设计概念和低层服装属性的层次结构，允许设计师在高级提示后逐步交互式编辑以添加低层属性。在我们新建的层次时尚数据集上进行的全面实验表明，我们提出的方法优于其他最先进的竞争方法。

    Jan, 2024

  • 基于生成式人类先验的时尚风格编辑

    该研究通过使用文本描述来操纵人类形象的时尚风格编辑，探索了时尚风格编辑的任务，并提出了两个加强指导信号的方向：文本扩充和视觉参考。通过基于人类先验的生成模型和对潜在空间结构的经验发现，在时尚风格编辑领域取得了令人兴奋的新应用。

    Apr, 2024

  • 质量与数量：揭示百万高质量时尚设计文本到图像合成的图片

    AI 与时尚设计的融合已成为一个前景光明的研究领域，本论文提出了首个 Fashion-Diffusion 数据集，该数据集包含超过一百万高质量的时尚图片和详细的文本描述，并提供了多个用于评估时尚设计模型性能的数据集，推动了 AI 驱动的时尚设计领域的标准化和未来研究的进展。

    Nov, 2023

  • FashionEngine: 交互式生成和编辑 3D 服装人物

    我们提出了一种名为 FashionEngine 的互动式 3D 人体生成和编辑系统，可以与人类与世界互动的方式一致地设计 3D 数字人体，并包括预训练的 3D 人体扩散模型、多模态 - UV 编码和多模态 - UV 对齐采样器等关键组件。

    Apr, 2024

  • FaD-VLP: 面向统一检索和说明的时尚视觉语言预训练

    提出了一个基于三元组生成的时尚特定预训练框架和可同时执行时尚检索和字幕任务的灵活解码器模型设计，具有跨模态检索、图像检索、图像字幕和多模态分类等多种功能。

    Oct, 2022