CVPRMay, 2024

使用扩散模型在图像中自动进行虚拟产品放置和评估

PDF
TL;DR介绍了一种新颖的三阶段全自动虚拟产品放置系统，通过语言引导图像分割模型识别出图像中适合进行产品修复的区域，并使用经过微调的 Stable Diffusion 算法将产品修复到先前识别出的候选区域中，最后引入一个 “对齐模块” 有效地筛选出质量低的图像。综合实验表明，该对齐模块确保每个生成的图像中都存在所需的产品，并提高了图像的平均质量 35%。本文提出的虚拟产品放置系统展示了显著的潜力，可用于改变虚拟广告和营销策略的领域。
发现论文，激发创造
  • 教学视频中的过程规划：PDPP 算法

    研究了指导视频中的过程规划问题，使用扩散模型进行分布拟合，从中采样操作序列达到规划目标，并在三个数据集上验证了其优于当前方法的性能表现。

    Mar, 2023

  • 仲裁者可参与：通过模型反演进行条件生成的替代方法

    通过优化传统的采样过程，基于视觉语言模型的训练无生成模型可以实现更好的文本 - 图像对齐。结合 Score Distillation Sampling 模块，我们的方法可以生成高质量的图像。

    Feb, 2024

  • 扩散去选择：在虚拟全尝试中丰富基于图像条件的潜在扩散模型的修复

    基于扩散的图像修复模型实现在线购物时的虚拟可视化，包括细节处理和语义操作。

    Jan, 2024

  • 使用稳定扩散进行无监督语义对应

    本论文提出了一种新的利用语义知识的图像生成方法，通过优化模型中的提示值，可以实现在多张图片中寻找相同语义意义的位置，可以在多个数据集上达到最先进的性能。

    May, 2023

  • 基于扩散模型的并行视觉关注个性化人脸修复

    本文提出了使用并行视觉注意力（Parallel Visual Attention，PVA）和扩散模型相结合的方法，实现面部修复过程中的身份保留，达到了无与伦比的身份相似性，并具备有效的语言可控性。与各种基准方法相比，PVA 在面部修复和具有语言指导任务的面部修复中都表现出优异的结果。与 Custom Diffusion 相比，PVA 仅需每个新身份进行 40 次微调步骤，大大提高了速度，超过 20 倍。

    Dec, 2023

  • 利用外观流驯服扩散模型的高质量虚拟试穿

    基于扩散模型的条件修复技术在虚拟试衣中的有效使用，结合了扭曲模块的力量来产生高质量和逼真的虚拟试穿结果。

    Aug, 2023

  • 高保真虚拟试穿的纹理保持扩散模型

    在虚拟试衣领域，我们提出了一种基于纹理保持扩散（TPD）模型的新方法，通过利用空间维度上人体图片和参考服装图片的连接输入扩散模型的去噪 UNet，实现了高效准确的纹理迁移，并预测精确的修补掩膜，将掩膜预测和图像合成整合于单一紧凑模型中，显著优于流行的 VITON、VITON-HD 数据库上的最先进方法。

    Apr, 2024

  • 揭示扩散特征在个性化分割与检索中的力量

    个性化检索和分割旨在基于输入图像和参考实例的简短描述在数据集中定位特定实例。本文探讨了用于这些任务的文本到图像扩散模型，并提出了一种名为 PDM 的新方法，该方法利用预训练的文本到图像模型的中间特征进行个性化任务而无需其他训练。PDM 在常见的检索和分割基准上展示了卓越的性能，甚至超过了监督方法。此外，本文还强调了当前实例和分割数据集的明显缺点，并提出了这些任务的新基准。

    May, 2024

  • 图像翻译为扩散视觉编程

    我们引入了新颖的扩散可视化编程器 (DVP)，这是一个神经符号图像转换框架。我们提出的 DVP 在 GPT 架构中无缝嵌入了一个条件灵活的扩散模型，为各种符号步骤（包括 RoI 识别、风格转换和位置操作）提供一致的视觉程序序列，实现透明和可控的图像转换过程。大量实验证明了 DVP 的卓越性能，超过了当前艺术的表现。其中 DVP 的几个关键功能是：通过实例标准化实现条件灵活的翻译，使模型消除了手动引导导致的敏感性，并始终专注于用于高质量内容生成的文本描述；框架通过将特征空间中的复杂高维概念解读为更易理解的低维符号（如 [Prompt]、[RoI object]）来增强上下文推理能力，从而实现了局部的、无上下文的编辑和整体的一致性维护；最后，DVP 在每个编程阶段提供明确的符号表示，提高了系统的可控性和可解释性，使用户能够直观地解释和修改结果。我们的研究在将人工图像翻译过程与认知智能相协调方面迈出了重要的一步，具有广泛的应用前景。

    Jan, 2024

  • 带有形状控制和纹理引导的两阶段个性化虚拟试穿框架

    本文提出一种全新的个性化虚拟试穿模型（PE-VITON），将图片作为扩散模型的引导条件，通过两个阶段（形状控制和纹理引导）解耦服装属性。定向引导的方式使得该模型可以有效解决传统试穿方法中服装褶皱减弱、复杂人体姿势下生成效果差、衣物边缘模糊和纹理样式不清晰等问题，并根据人体姿势自动增强生成的服装褶皱和纹理，提高虚拟试穿的真实性。实验证明，该模型优于现有的最先进模型。

    Dec, 2023