Oct, 2023

Magicremover：无需调整的文本引导图像修复与扩散模型

PDF
TL;DRMagicRemover 是一种基于强大的扩散模型进行文本引导的图像修复的无需调参方法，通过引入注意力引导策略来限制扩散模型的采样过程，实现指定区域的擦除和遮挡内容的恢复，同时提出一种分类器优化算法以在少量采样步骤内提高去噪稳定性，并通过定量评估和用户研究与最先进的方法进行广泛的比较，显示出 MagicRemover 在高质量图像修复上的显著改进。
image inpaintingdiffusion modelstext-guidedoccluded contenthigh-quality image inpainting
发现论文，激发创造
  • Inst-Inpaint: 使用扩散模型指导对象移除

    本论文提出了一种基于自然语言输入的图像修复算法，名为 Inst-Inpaint，可同时估计要移除的对象，并对其进行修复。为了支持该任务，我们首先构建了一个名为 GQA-Inpaint 的数据集。我们在合成和真实图像数据集上运行了各种 GAN 和扩散基线，使用不同的评估指标比较方法，并展示了显著的定量和定性改进。

    Apr, 2023

  • 基于图像信息去除的图像转换

    本文提出了一种利用 Image Information Removal 模块来精准地去除原始图像中与颜色和纹理相关的信息，以更好地保存文本不相关内容并避免相同映射问题，从而实现文本到图像编辑的方法。我们的方法在三个基准数据集上达到了最佳的可编辑性 - 保真度的平衡，并且我们的编辑图像比 COCO 上的之前的艺术作品更受注释者的欢迎。

    May, 2023

  • 学习通过首先移除图像对象来添加图像对象的绘画

    通过利用分割蒙版数据集和在蒙版内修复的修复模型，我们可以实现自动逆向修复过程，将对象添加到图像中，在没有用户提供的输入蒙版的情况下，提供了一种无缝地根据文本指令添加对象的方法。

    Apr, 2024

  • RePaint: 使用去噪扩散概率模型进行修复

    本文提出了 RePaint，一种基于 DDPM 的修复方法，针对自由形式的抠图效果更佳，能够进行信息补充，并对面部和通用图像修复进行了测试。

    Jan, 2022

  • DiffGANPaint：使用去噪扩散 GAN 进行快速修复

    本文提出了一种基于 DDPM 的模型，能够通过使用生成对抗网络（GAN）的生成器来建模反向扩散过程，从而以较低的采样成本填充丢失的像素，实验结果表明我们的方法在通用图像修复数据集上表现出卓越性能。

    Aug, 2023

  • 基于扩散的图像修复与内部学习

    本文提出了一种用于图像修复的轻量级扩散模型，可以在单幅图像或几幅图像上进行训练，结果表明我们的方法在某些情况下可以与大型先进模型竞争，特别适用于与标准学习数据库中的 RGB 图像不同的图像获取模态，并在纹理图像、线条图像和材料 BRDF 等三个不同情境中取得了逼真度方面的最新成果，与相应方法相比计算负荷大大减少。

    Jun, 2024

  • HD-Painter：具高分辨率和忠实预示文字引导的扩散模型图像修复

    最近的文本引导图像修复研究表明，HD-Painter 是一个完全无需训练的方法，可根据用户的提示进行高分辨率图像修复，并在文本对齐和生成准确性方面取得显著提升。

    Dec, 2023

  • Uni-paint: 一个统一框架的多模态图像修复方法，基于预训练扩散模型

    提出了一种名为 Uni-paint 的多模态修复统一框架，基于 Stable Diffusion 预训练模型，支持无条件、文本驱动、笔画驱动、示例驱动等多种修复模态，无需特定数据集的任务特定训练，通过广泛的定性和定量评估表明，该方法在保持与现有单模态方法具有可比性的基础上，提供了其他方法中不可用的多模态修复能力。

    Oct, 2023

  • 利用结构边缘引导探索文本到图像扩散模型在多光谱卫星图像修复中的能力

    研究了文本到图像修复模型在卫星图像数据中的实用性，通过引入基于 StableDiffusion 和 ControlNet 的新型修复框架以及一种新的 RGB 到 MSI 转换方法，解决了将结构引导信号注入到生成过程中的两个技术挑战，以及将修复的 RGB 像素转换为更广泛的 MSI 波段。对更广泛的数据集的结果表明，通过 StableDiffusion 生成的修复结果存在不受欢迎的伪影，而自监督内部修复的简单替代方法具有更高的合成质量。

    Nov, 2023

  • 基于图像和文本引导的无需调参图像定制

    通过无需调整的方法，本文提出了一种同时利用文本和图像指导的图像定制方法，允许在几秒钟内精确编辑特定图像区域，通过创新的注意力混合策略，本方法在图像定制中表现优异，是一种高效的解决方案。

    Mar, 2024