Nov, 2023

基于图像的虚拟试穿研究

PDF
TL;DR通过对管道架构、人物表示、关键模块和语义标准的综合分析，本文提供了最新技术和方法论在基于图像的人物试穿领域的全面调研，评估了不同方法，并展示了大规模模型在图像试穿任务上的未来潜力，并揭示了未解决的问题和未来研究方向。
image-based virtual try-ononline shoppingstate-of-the-art techniquesevaluation metricsfuture research directions
发现论文，激发创造
  • 街头试衣：从非配对人物图像中学习自然环境下的虚拟试衣

    在这项工作中，我们通过（1）引入一个街景尝试基准来评估在街景中的性能，以及（2）提出一种可以直接从一组野外人物图像中学习而不需要成对数据的新方法，来填补当前虚拟试穿研究中的空白。我们的方法可以通过结合基于 DensePose 的变形校正方法和由姿势和语义分割控制的扩散式修补方法，在商店和街道领域实现稳健的性能，并证明在标准工作室试穿任务和街头试穿和跨领域试穿任务方面具有 SOTA 性能。

    Nov, 2023

  • ViViD: 使用扩散模型的视频虚拟试衣

    视频虚拟试穿通过强大的扩散模型处理视频虚拟试穿任务并实现空间时间一致性。

    May, 2024

  • PICTURE: 非约束设计的光真实虚拟试穿

    本研究提出了一种创新的虚拟试穿技术，能够在输入人体图像上实现个性化服装的逼真合成。我们的方法具有灵活的样式和纹理条件，并通过明确分离样式和纹理的双阶段流程来解决全服装图像作为条件时的交织挑战。通过提取层次化和平衡的 CLIP 特征以及在 VTON 中应用位置编码，我们首次实现了复杂的非平稳纹理，实验结果表明了我们方法在合成质量和个性化方面的卓越表现。样式和纹理的灵活控制为在线购物和时尚设计提供了新的用户体验水平。

    Dec, 2023

  • 优化虚拟试穿的扩散模型

    本研究提出了一种改进的图像虚拟试穿的扩散模型（IDM-VTON），该模型通过使用高级语义和低级特征融合的方法，提高了服装的真实性，并生成了具有真实感的虚拟试穿图像。该研究还介绍了一种使用人物 - 服装图像对进行个性化定制的方法，并通过实验证明了该方法在保留服装细节和生成真实虚拟试穿图像方面的有效性。

    Mar, 2024

  • 基于语义引导优化的无模板试穿图像合成

    本文提出了一种无模板虚拟试穿的图像合成网络，可以合成更适合身体的试穿服装图像，并通过实验证明了该方法在复杂情况下的优越性。

    Feb, 2021

  • 更好的适应性：虚拟试穿中的服装类型变异

    本文提出了一种自适应掩码训练范式，通过破解试穿区域与原始服装之间的关联，并让模型学习正确的信息进行修补，从而在非配对虚拟试穿情况下提高服装的对齐度和适应性，显著提升虚拟试穿体验的真实感；并首次提出两种用于非配对试穿评估的指标，Semantic-Densepose-Ratio (SDR) 和 Skeleton-LPIPS (S-LPIPS)，用于评估服装类型的正确性和纹理的准确性；并构建了一个全面的跨试穿基准测试集（Cross-27），涵盖了多种不同的服装项目和模特身材，用于验证非配对试穿，实验证明了所提方法的有效性，为虚拟试穿技术的发展做出贡献，为该领域的未来研究提供新的洞察和工具。代码、模型和基准测试集将公开发布。

    Mar, 2024

  • 基于图像的虚拟试穿网络的特征保留模型

    本文提出了一种基于图像的虚拟试衣系统，使用全新的几何匹配模块进行形变和修补，在保留衣物特征的同时，同时处理衣物和图像之间的边界问题和计算拟合度，实现了真实感和模拟性能的完美融合。

    Jul, 2018

  • 不必掩盖不必要的部分：无需解析器的虚拟试穿

    本文提出一种新的学生 - 教师模型来解决 2D 虚拟试穿任务中的监督学习问题，并且减少了图像处理的开销，从而实现了实时虚拟试穿。

    Jul, 2020

  • 一种时间高效和身份一致的虚拟试穿方法：基于改进扩散模型的变体

    本研究讨论了当代电子商务和前景元宇宙中虚拟试穿的关键问题，强调在各种场景中保留目标人物和衣物的复杂纹理细节和独特特征所面临的挑战，并探索了现有方法的局限性和未解决的问题，随后提出了一种基于扩散的新颖解决方案，该解决方案在虚拟试穿过程中解决了服装纹理保留和用户身份保留的问题。该网络显示出令人印象深刻的结果，在推理过程中的速度超过最先进技术近 20 倍，并在定性评估中具有更高的保真度。在 VITON-HD 和 Dresscode 数据集上的定量评估证实了与最近的 SOTA 方法相当的性能。

    Mar, 2024

  • 增强虚拟试衣自我监督视觉变换

    虚拟试衣技术的创新方法，结合自监督视觉变换器和扩散模型，通过对比局部衣物图像嵌入与全局嵌入来实现细节增强，条件引导和关注关键区域等技术的融合进一步提高了虚拟试衣体验的真实感和精确度。

    Jun, 2024