Nov, 2023

CAT-DM：具有扩散模型的可控加速虚拟试衣

PDF
TL;DR提出了一种基于扩散模型的可控加速虚拟试衣网络（CAT-DM），该网络通过使用 ControNet 引入额外的控制条件和改进服装图像的特征提取，对传统的扩散模型进行了改进，并且能够在不降低生成质量的情况下减少采样步骤。与基于 GAN 和基于扩散模型的先前试衣方法相比，CAT-DM 能够更真实地生成图像并准确复制服装图案。
image-based virtual try-ondiffusion modelscontrollable accelerated virtual try-on with diffusion modelcontronetgeneration quality
发现论文，激发创造
  • 优化虚拟试穿的扩散模型

    本研究提出了一种改进的图像虚拟试穿的扩散模型（IDM-VTON），该模型通过使用高级语义和低级特征融合的方法，提高了服装的真实性，并生成了具有真实感的虚拟试穿图像。该研究还介绍了一种使用人物 - 服装图像对进行个性化定制的方法，并通过实验证明了该方法在保留服装细节和生成真实虚拟试穿图像方面的有效性。

    Mar, 2024

  • 利用外观流驯服扩散模型的高质量虚拟试穿

    基于扩散模型的条件修复技术在虚拟试衣中的有效使用，结合了扭曲模块的力量来产生高质量和逼真的虚拟试穿结果。

    Aug, 2023

  • ACDG-VTON：精准和受限扩散生成虚拟试穿

    提出了一种独特的训练方案来解决扩散的训练公式中维持输入服装身份的问题，并且通过多衣物试穿单次推断循环实现高质量的放大生成。

    Mar, 2024

  • 带有形状控制和纹理引导的两阶段个性化虚拟试穿框架

    本文提出一种全新的个性化虚拟试穿模型（PE-VITON），将图片作为扩散模型的引导条件，通过两个阶段（形状控制和纹理引导）解耦服装属性。定向引导的方式使得该模型可以有效解决传统试穿方法中服装褶皱减弱、复杂人体姿势下生成效果差、衣物边缘模糊和纹理样式不清晰等问题，并根据人体姿势自动增强生成的服装褶皱和纹理，提高虚拟试穿的真实性。实验证明，该模型优于现有的最先进模型。

    Dec, 2023

  • 高保真虚拟试穿的纹理保持扩散模型

    在虚拟试衣领域，我们提出了一种基于纹理保持扩散（TPD）模型的新方法，通过利用空间维度上人体图片和参考服装图片的连接输入扩散模型的去噪 UNet，实现了高效准确的纹理迁移，并预测精确的修补掩膜，将掩膜预测和图像合成整合于单一紧凑模型中，显著优于流行的 VITON、VITON-HD 数据库上的最先进方法。

    Apr, 2024

  • LaDI-VTON: 潜在扩散文本反演增强虚拟试穿

    LaDI-VTON 是应用于 Virtual Try-On 任务的第一款基于 Latent Diffusion textual Inversion 的模型，实验结果表明，该模型在保持纹理和细节方面比竞争对手表现更佳，并以显著的优势取得了里程碑式的成果。

    May, 2023

  • 一种时间高效和身份一致的虚拟试穿方法：基于改进扩散模型的变体

    本研究讨论了当代电子商务和前景元宇宙中虚拟试穿的关键问题，强调在各种场景中保留目标人物和衣物的复杂纹理细节和独特特征所面临的挑战，并探索了现有方法的局限性和未解决的问题，随后提出了一种基于扩散的新颖解决方案，该解决方案在虚拟试穿过程中解决了服装纹理保留和用户身份保留的问题。该网络显示出令人印象深刻的结果，在推理过程中的速度超过最先进技术近 20 倍，并在定性评估中具有更高的保真度。在 VITON-HD 和 Dresscode 数据集上的定量评估证实了与最近的 SOTA 方法相当的性能。

    Mar, 2024

  • FashionSD-X: 多模态时尚服装合成基于潜在扩散

    这篇研究论文介绍了一种新颖的生成性流程，通过使用潜在扩散模型改变了时尚设计过程，利用 ControlNet 和 LoRA 微调生成高质量图像，从文本和草图等多模态输入生成。我们结合草图数据，对包括 Multimodal Dress Code 和 VITON-HD 在内的最先进的虚拟试穿数据集进行了整合和增强。通过使用 FID、CLIP 评分和 KID 等指标进行评估，我们的模型明显优于传统稳定扩散模型。结果不仅突显了我们模型在生成符合时尚要求的输出方面的效果，也凸显了扩散模型在改革时尚设计工作流程中的潜力。这项研究为时尚设计和表达领域提供了更具互动性、个性化和技术丰富的方法，弥合了创意愿景与实际应用之间的差距。

    Apr, 2024

  • ViViD: 使用扩散模型的视频虚拟试衣

    视频虚拟试穿通过强大的扩散模型处理视频虚拟试穿任务并实现空间时间一致性。

    May, 2024

  • FLDM-VTON：用于虚拟试衣的忠实潜在扩散模型

    虽然虚拟试衣（VTON）基于潜在扩散模型的生成性能令人印象深刻，但缺乏对衣物关键细节（如风格、图案和文字）的忠实性。为了缓解由扩散随机性和潜在监督引起的这些问题，我们提出了一种新颖的面向 VTON 的忠实潜在扩散模型，称为 FLDM-VTON。FLDM-VTON 在三个主要方面改进了传统的潜在扩散过程。首先，我们提议将变形的衣物作为起点和局部条件，为模型提供忠实的衣物先验。其次，我们引入了一种新颖的衣物扁平化网络，以约束生成的试衣图像，提供一致的衣物忠实监督。第三，我们设计了一种具有忠实推理的衣物后验采样，进一步提高了模型在传统的衣物不可知高斯采样上的性能。对基准 VITON-HD 和 Dress Code 数据集的大量实验证明，我们的 FLDM-VTON 优于最先进的基线方法，并能够生成具有忠实衣物细节的照片级别的试衣图像。

    Apr, 2024