AAAIJan, 2024

基于扩散的高效图像编辑与即时关注蒙版

PDF
TL;DR我们在这篇论文中提出了一种名为 InstDiffEdit 的新型高效图像编辑方法，它利用现有扩散模型的跨模态注意力能力，在扩散步骤中实现了即时的遮罩引导。我们将 InstDiffEdit 与 SOTA 方法进行了广泛的实验证明，结果显示它在图像质量和编辑结果方面不仅优于 SOTA 方法，而且推理速度快 5 至 6 倍。
diffusion-based image editingsemantic masktext-to-image diffusion modelsinstant diffusion editingattention maps
发现论文，激发创造
  • 基于扩散的语义图像编辑与掩模引导

    本文提出了一种基于条件扩散模型的语义图像编辑方法 DiffEdit，能够自动生成需要编辑的图像区域的遮罩，并利用潜在推理保留感兴趣区域的内容，该方法在 ImageNet 数据集上实现了最先进的编辑表现。

    Oct, 2022

  • 通过混合掩膜信息融合提升文本到图像编辑

    基于扩散模型，本文旨在系统性地改进文本引导的图像编辑技术，以解决其局限性，通过在模型的自注意机制中引入人为注释来限制编辑范围，并将编辑后的图像与源图像和构建的中间图像进行融合，实验证明所提出的 ``MaSaFusion'' 显著提高了现有的文本到图像编辑技术。

    May, 2024

  • DiffEditor：基于扩散的图像编辑中的准确性和灵活性增强

    我们提出了 DiffEditor 方法，利用图像提示和文本提示来改善细粒度的图像编辑，通过在扩散采样中引入局部组合的随机微分方程 (SDE)，梯度引导和时间旅行策略，我们的方法在各种细粒度图像编辑任务中取得了最先进的性能。

    Feb, 2024

  • 多模态引导下的图像编辑与文本到图像扩散模型调查

    图像编辑以满足用户特定需求为目标，近年来作为人工智能生成内容 (AIGC) 领域的一项有前景且具有挑战性的研究得到广泛关注。本篇综述针对利用文本转图像扩散模型进行多模态引导的图像编辑技术进行了全面回顾，介绍了综合的图像编辑范畴、各种控制信号和编辑场景，提出了一个统一的框架来规范编辑过程，并分成两个主要算法体系，为用户实现特定目标提供了一个设计空间。另外，对于基于训练的方法，我们讨论了它们的特点和适用场景，并介绍了在不同场景下源图像注入的方案。此外，我们还回顾了将二维技术应用于视频编辑，并突出了解决帧间不一致问题的解决方案。最后，我们讨论了该领域面临的开放性挑战，并提出了潜在的未来研究方向。

    Jun, 2024

  • InstructEdit：通过用户指令改进基于扩散的图像编辑自动蒙版

    本文提出了一种名为 InstructEdit 的框架，其中包括了语言处理器，分段器和图像编辑器三个组件，这种框架可以根据用户的指令进行细粒度的编辑，且在输入图像中包含复杂对象或多个对象的精细编辑应用中表现优异。

    May, 2023

  • TiNO-Edit: 时间步长和噪声优化用于稳健扩散式图像编辑

    通过对噪音模式和扩散时间步进行优化，本文提出了基于 SD 的 TiNO-Edit 方法，其能够生成与原始图像更加吻合且符合预期结果的编辑结果，同时在 SD 的潜在域中提出了一组新的损失函数来加速优化过程。

    Apr, 2024

  • 基于扩散模型的图像编辑：一项综述

    调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述，包括理论和实践方面，并从多个角度对这些作品进行了彻底分析和分类，介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外，对图像修复和扩展进行了特别关注，并探讨了早期的传统上下文驱动方法和当前的多模态条件方法，全面分析了它们的方法论。最后，讨论当前的限制并展望未来的研究方向。

    Feb, 2024

  • FISEdit: 通过启用缓存的稀疏扩散推理加速文本到图像编辑

    提出了一个使用缓存优化的稀疏扩散模型推断引擎（FISEdit），用于高效的文本到图像编辑，结果表明，使用 FISEdit 可以提高推断速度至少 3.4 倍，并获得更高质量的图像。

    May, 2023

  • 使用扩展的注意力实现视频中的时态一致的对象编辑

    使用预训练的图像修复扩散模型，通过替换自注意力模块以创建帧级依赖关系，我们提出了一种编辑视频的方法，以确保编辑信息在所有视频帧中保持一致，从而在对象重定向、对象替换和对象移除等多个视频编辑任务中展示了该策略的卓越性能。

    Jun, 2024

  • 基于图像信息去除的图像转换

    本文提出了一种利用 Image Information Removal 模块来精准地去除原始图像中与颜色和纹理相关的信息，以更好地保存文本不相关内容并避免相同映射问题，从而实现文本到图像编辑的方法。我们的方法在三个基准数据集上达到了最佳的可编辑性 - 保真度的平衡，并且我们的编辑图像比 COCO 上的之前的艺术作品更受注释者的欢迎。

    May, 2023