May, 2024

MMTryon：多模式多参考高质量时尚生成控制

PDF
TL;DRMMTryon 是一个多模态多参考虚拟试衣 (VITON) 框架，通过输入文本指令和多个服装图像，可以生成高质量的组合试穿结果。它通过引入新颖的多模态和多参考注意机制来解决现有研究中忽略的多个试穿物品和定制穿着风格的问题，并使用无解析的服装编码器和新颖的可扩展数据生成流水线来消除对分割的依赖。实验证明了 MMTryon 在定性和定量方面相对于现有的技术的卓越表现，为时尚界探索多物品和可控风格虚拟试衣场景打开新的研究方向。
mmtryonmulti-modalmulti-referencevirtual try-ongarment encoder
发现论文，激发创造
  • 基于内存的视频虚拟试穿网络

    提出了一种基于记忆的视频虚拟试衣网络（MV-TON），它可以在不需要任何服装模板的情况下，通过姿势对齐和区域替换像素，将所需的衣服无缝传输到目标人身上，并生成高分辨率逼真的视频

    Aug, 2021

  • MV-VTON: 多视角扩散模型虚拟试穿

    通过使用多视图衣物和扩散模型，引入了一种多视图虚拟试衣方法（MV-VTON），该方法在多视图中从给定的衣物中重建人物着装结果。

    Apr, 2024

  • 多姿态引导的虚拟试衣网络

    本文提出了首个多姿态影响下的虚拟试衣系统，使用三阶段的网络包括合成期望的解剖结构映射，将解剖结构的映射和服装特征整合起来，以及使用多姿态合成蒙版进行修复，成功地解决了虚拟试衣中的多种问题，实验结果表明，该虚拟试衣系统和该多姿态影响下的虚拟试衣技术显著优于现有技术。

    Feb, 2019

  • M3D-VTON: 单目至 3D 虚拟试穿网络

    该研究提出一种新颖的基于 2D 和 3D 方法的单目 - 3D 虚拟试穿网络，通过有效地整合 2D 信息和学习将 2D 表示提升到 3D 的映射以构建一个 3D 试穿模型。所提出的模型包含三个模块：单目预测模块、深度细化模块和纹理融合模块。该模型在构建高质量的试衣数据集的基础上，通过大量实验，证明了其比其他 3D 方法更高效和能够更真实地描述试穿效果。

    Aug, 2021

  • M&M VTO: 多款服装虚拟试穿和编辑

    M&M VTO 是一种多样式虚拟试穿方法，以多个服装图像、服装布局的文本描述和人物图像作为输入，并输出展示给定人物上穿指定布局的服装效果的可视化结果。

    Jun, 2024

  • 带有形状控制和纹理引导的两阶段个性化虚拟试穿框架

    本文提出一种全新的个性化虚拟试穿模型（PE-VITON），将图片作为扩散模型的引导条件，通过两个阶段（形状控制和纹理引导）解耦服装属性。定向引导的方式使得该模型可以有效解决传统试穿方法中服装褶皱减弱、复杂人体姿势下生成效果差、衣物边缘模糊和纹理样式不清晰等问题，并根据人体姿势自动增强生成的服装褶皱和纹理，提高虚拟试穿的真实性。实验证明，该模型优于现有的最先进模型。

    Dec, 2023

  • VITON: 基于图像的虚拟试衣网络

    本研究提出了一个基于图像的 Virtual Try-On Network，采用 “粗到细” 的策略将所需的服装项目无缝地转移到相应的人体部位，从而合成真实的照片，不需要 3D 信息，并通过细化网络训练来改善初始模糊图像。

    Nov, 2017

  • VTON-IT: 图像翻译的虚拟试衣

    使用基于生成对抗网络的图像翻译网络和语义分割技术，通过 VTON-IT 图像虚拟试穿应用程序将目标服装覆盖在感兴趣的身体部位，并生成细节丰富的高分辨率自然图像。

    Oct, 2023

  • FashionTex: 可控的基于文本和纹理的虚拟试穿

    通过将文本和纹理相结合，FashionTex 框架能够在无需配对数据的情况下，对服装类型和纹理模式进行语义控制，从而支持全身肖像的用户友好型时尚定制。

    May, 2023

  • 可塑形体的内衣虚拟试穿模型

    本文提出了一个在电子商务场景下紧迫需要的基于图形注意力网络 (SC-VTON) 的形状可控虚拟试衣网络，以更精确地虚拟试衣。 通过将控制点融入 SC-VTON 中，我们可以使用服装 / 模型对数据来帮助优化变形模块，并将任务推广到典型的虚拟试衣任务。实验表明，该方法可以实现准确的形状控制，并且生成具有详细纹理的高分辨率结果。

    Jul, 2021