Apr, 2024

FLDM-VTON：用于虚拟试衣的忠实潜在扩散模型

HTML
PDF
TL;DR虽然虚拟试衣（VTON）基于潜在扩散模型的生成性能令人印象深刻，但缺乏对衣物关键细节（如风格、图案和文字）的忠实性。为了缓解由扩散随机性和潜在监督引起的这些问题，我们提出了一种新颖的面向VTON的忠实潜在扩散模型，称为FLDM-VTON。FLDM-VTON在三个主要方面改进了传统的潜在扩散过程。首先，我们提议将变形的衣物作为起点和局部条件，为模型提供忠实的衣物先验。其次，我们引入了一种新颖的衣物扁平化网络，以约束生成的试衣图像，提供一致的衣物忠实监督。第三，我们设计了一种具有忠实推理的衣物后验采样，进一步提高了模型在传统的衣物不可知高斯采样上的性能。对基准VITON-HD和Dress Code数据集的大量实验证明，我们的FLDM-VTON优于最先进的基线方法，并能够生成具有忠实衣物细节的照片级别的试衣图像。
发现论文，激发创造
  • LaDI-VTON: 潜在扩散文本反演增强虚拟试穿

    LaDI-VTON 是应用于 Virtual Try-On 任务的第一款基于 Latent Diffusion textual Inversion 的模型，实验结果表明，该模型在保持纹理和细节方面比竞争对手表现更佳，并以显著的优势取得了里程碑式的成果。

    May, 2023

  • 利用外观流驯服扩散模型的高质量虚拟试穿

    基于扩散模型的条件修复技术在虚拟试衣中的有效使用，结合了扭曲模块的力量来产生高质量和逼真的虚拟试穿结果。

    Aug, 2023

  • CAT-DM：具有扩散模型的可控加速虚拟试衣

    提出了一种基于扩散模型的可控加速虚拟试衣网络（CAT-DM），该网络通过使用ControNet引入额外的控制条件和改进服装图像的特征提取，对传统的扩散模型进行了改进，并且能够在不降低生成质量的情况下减少采样步骤。与基于GAN和基于扩散模型的先前试衣方法相比，CAT-DM能够更真实地生成图像并准确复制服装图案。

    Nov, 2023

  • StableVITON：使用潜在扩散模型学习虚拟试穿的语义对应关系

    通过在预训练扩散模型的潜在空间内学习衣物与人体之间的语义对应关系，利用零交叉关注区块保留衣物细节并利用预训练模型的内在知识进行图像变形处理，通过提出的新型注意力全变差损失和应用数据增强，实现了尖锐的注意力图，从而更准确地表示衣物细节。StableVITON在定性和定量评估中胜过基准方法，在任意人物图像中展示了有希望的质量。

    Dec, 2023

  • OOTDiffusion：基于融合的潜在扩散技术的控制性虚拟试穿

    使用Outfitting over Try-on Diffusion（OOTDiffusion）方法，结合预训练的潜在扩散模型和创新的网络架构，可以有效地生成高质量、逼真且可控的虚拟试穿图像，突破了现有虚拟试穿方法在逼真度和可控性方面的局限。

    Mar, 2024

  • 优化虚拟试穿的扩散模型

    本研究提出了一种改进的图像虚拟试穿的扩散模型（IDM-VTON），该模型通过使用高级语义和低级特征融合的方法，提高了服装的真实性，并生成了具有真实感的虚拟试穿图像。该研究还介绍了一种使用人物-服装图像对进行个性化定制的方法，并通过实验证明了该方法在保留服装细节和生成真实虚拟试穿图像方面的有效性。

    Mar, 2024

  • ACDG-VTON：精准和受限扩散生成虚拟试穿

    提出了一种独特的训练方案来解决扩散的训练公式中维持输入服装身份的问题，并且通过多衣物试穿单次推断循环实现高质量的放大生成。

    Mar, 2024

  • 高保真虚拟试穿的纹理保持扩散模型

    在虚拟试衣领域，我们提出了一种基于纹理保持扩散（TPD）模型的新方法，通过利用空间维度上人体图片和参考服装图片的连接输入扩散模型的去噪UNet，实现了高效准确的纹理迁移，并预测精确的修补掩膜，将掩膜预测和图像合成整合于单一紧凑模型中，显著优于流行的VITON、VITON-HD数据库上的最先进方法。

    Apr, 2024

  • 通过服装聚焦的扩散模型改善虚拟试穿

    本研究解决了应用扩散模型进行图像基础虚拟试穿（VTON）所面临的挑战，尤其是在确保生成图像的真实性与服装细节方面。我们提出了一种新的扩散模型GarDiff，通过增强服装外观和细节的指导，实现了更高保真度的图像合成。实验结果表明，GarDiff在VITON-HD和DressCode数据集上的表现优于其他先进的VTON方法。

    Sep, 2024

  • 时尚视频扩散模型：虚拟试穿的视频扩散模型

    本研究提出了一种名为Fashion-VDM的视频扩散模型，旨在生成高质量的虚拟试穿视频，同时保持人物的身份和运动。该方法通过扩散架构和逐步时间训练策略解决了现有视频虚拟试穿方法在服装细节和时间一致性上的不足，实验结果表明其在视频虚拟试穿领域达到了新的领先水平。

    Oct, 2024