IJCAIApr, 2024

FLDM-VTON：用于虚拟试衣的忠实潜在扩散模型

PDF
TL;DR虽然虚拟试衣（VTON）基于潜在扩散模型的生成性能令人印象深刻，但缺乏对衣物关键细节（如风格、图案和文字）的忠实性。为了缓解由扩散随机性和潜在监督引起的这些问题，我们提出了一种新颖的面向 VTON 的忠实潜在扩散模型，称为 FLDM-VTON。FLDM-VTON 在三个主要方面改进了传统的潜在扩散过程。首先，我们提议将变形的衣物作为起点和局部条件，为模型提供忠实的衣物先验。其次，我们引入了一种新颖的衣物扁平化网络，以约束生成的试衣图像，提供一致的衣物忠实监督。第三，我们设计了一种具有忠实推理的衣物后验采样，进一步提高了模型在传统的衣物不可知高斯采样上的性能。对基准 VITON-HD 和 Dress Code 数据集的大量实验证明，我们的 FLDM-VTON 优于最先进的基线方法，并能够生成具有忠实衣物细节的照片级别的试衣图像。
virtual try-onlatent diffusion modelfaithfulnessclothing detailsfldm-vton
发现论文，激发创造
  • LaDI-VTON: 潜在扩散文本反演增强虚拟试穿

    LaDI-VTON 是应用于 Virtual Try-On 任务的第一款基于 Latent Diffusion textual Inversion 的模型，实验结果表明，该模型在保持纹理和细节方面比竞争对手表现更佳，并以显著的优势取得了里程碑式的成果。

    May, 2023

  • ACDG-VTON：精准和受限扩散生成虚拟试穿

    提出了一种独特的训练方案来解决扩散的训练公式中维持输入服装身份的问题，并且通过多衣物试穿单次推断循环实现高质量的放大生成。

    Mar, 2024

  • 优化虚拟试穿的扩散模型

    本研究提出了一种改进的图像虚拟试穿的扩散模型（IDM-VTON），该模型通过使用高级语义和低级特征融合的方法，提高了服装的真实性，并生成了具有真实感的虚拟试穿图像。该研究还介绍了一种使用人物 - 服装图像对进行个性化定制的方法，并通过实验证明了该方法在保留服装细节和生成真实虚拟试穿图像方面的有效性。

    Mar, 2024

  • StableVITON：使用潜在扩散模型学习虚拟试穿的语义对应关系

    通过在预训练扩散模型的潜在空间内学习衣物与人体之间的语义对应关系，利用零交叉关注区块保留衣物细节并利用预训练模型的内在知识进行图像变形处理，通过提出的新型注意力全变差损失和应用数据增强，实现了尖锐的注意力图，从而更准确地表示衣物细节。StableVITON 在定性和定量评估中胜过基准方法，在任意人物图像中展示了有希望的质量。

    Dec, 2023

  • MV-VTON: 多视角扩散模型虚拟试穿

    通过使用多视图衣物和扩散模型，引入了一种多视图虚拟试衣方法（MV-VTON），该方法在多视图中从给定的衣物中重建人物着装结果。

    Apr, 2024

  • OOTDiffusion：基于融合的潜在扩散技术的控制性虚拟试穿

    使用 Outfitting over Try-on Diffusion（OOTDiffusion）方法，结合预训练的潜在扩散模型和创新的网络架构，可以有效地生成高质量、逼真且可控的虚拟试穿图像，突破了现有虚拟试穿方法在逼真度和可控性方面的局限。

    Mar, 2024

  • WarpDiffusion：高保真虚拟试衣的高效扩散模型

    通过引入新颖的信息感知和局部服装特征注意机制，WarpDiffusion 将基于变形和基于扩散的范式相结合，实现了高效和高保真度的虚拟试衣，从而提升了现有 VITON 方法的综合质量。

    Dec, 2023

  • 利用外观流驯服扩散模型的高质量虚拟试穿

    基于扩散模型的条件修复技术在虚拟试衣中的有效使用，结合了扭曲模块的力量来产生高质量和逼真的虚拟试穿结果。

    Aug, 2023

  • 带有形状控制和纹理引导的两阶段个性化虚拟试穿框架

    本文提出一种全新的个性化虚拟试穿模型（PE-VITON），将图片作为扩散模型的引导条件，通过两个阶段（形状控制和纹理引导）解耦服装属性。定向引导的方式使得该模型可以有效解决传统试穿方法中服装褶皱减弱、复杂人体姿势下生成效果差、衣物边缘模糊和纹理样式不清晰等问题，并根据人体姿势自动增强生成的服装褶皱和纹理，提高虚拟试穿的真实性。实验证明，该模型优于现有的最先进模型。

    Dec, 2023

  • 一种时间高效和身份一致的虚拟试穿方法：基于改进扩散模型的变体

    本研究讨论了当代电子商务和前景元宇宙中虚拟试穿的关键问题，强调在各种场景中保留目标人物和衣物的复杂纹理细节和独特特征所面临的挑战，并探索了现有方法的局限性和未解决的问题，随后提出了一种基于扩散的新颖解决方案，该解决方案在虚拟试穿过程中解决了服装纹理保留和用户身份保留的问题。该网络显示出令人印象深刻的结果，在推理过程中的速度超过最先进技术近 20 倍，并在定性评估中具有更高的保真度。在 VITON-HD 和 Dresscode 数据集上的定量评估证实了与最近的 SOTA 方法相当的性能。

    Mar, 2024