Apr, 2023

Inst-Inpaint: 使用扩散模型指导对象移除

PDF
TL;DR本论文提出了一种基于自然语言输入的图像修复算法，名为 Inst-Inpaint，可同时估计要移除的对象，并对其进行修复。为了支持该任务，我们首先构建了一个名为 GQA-Inpaint 的数据集。我们在合成和真实图像数据集上运行了各种 GAN 和扩散基线，使用不同的评估指标比较方法，并展示了显著的定量和定性改进。
image inpaintingnatural language inputdatasetinst-inpaintevaluation metrics
发现论文，激发创造
  • 学习通过首先移除图像对象来添加图像对象的绘画

    通过利用分割蒙版数据集和在蒙版内修复的修复模型，我们可以实现自动逆向修复过程，将对象添加到图像中，在没有用户提供的输入蒙版的情况下，提供了一种无缝地根据文本指令添加对象的方法。

    Apr, 2024

  • 填写 ____ （基于扩散的图像修复流程）

    图像修复是将图像中的缺失或故意遮挡部分恢复出来的过程，在现代修复技术中，我们提供了当前主要方法的概述和评估，并着重解决了现有模型在生成过程中缺乏提示和控制能力的问题，并提供了多种实现该功能的方法。最终，通过对生成的高质量图像进行定性检查，我们评估了我们的方法的结果是否能正确地修复指定区域。

    Mar, 2024

  • DiffGANPaint：使用去噪扩散 GAN 进行快速修复

    本文提出了一种基于 DDPM 的模型，能够通过使用生成对抗网络（GAN）的生成器来建模反向扩散过程，从而以较低的采样成本填充丢失的像素，实验结果表明我们的方法在通用图像修复数据集上表现出卓越性能。

    Aug, 2023

  • 基于修复驱动的遮罩优化方法用于物体去除

    本文提出了一种优化遮罩的方法，通过图像修复来提高对象去除的质量。通过使用分割提取的对象遮罩来训练修复网络，并在推断步骤中使用这些遮罩，解决了训练和推断图像之间的域差异问题。此外，通过连接分割网络和修复网络进行端到端训练，以改进修复性能，并通过遮罩扩展损失来实现大型和小型遮罩之间的权衡，进一步增强了端到端训练的效果。实验结果证明了我们的方法在通过图像修复实现更好的对象去除方面的有效性。

    Mar, 2024

  • Magicremover：无需调整的文本引导图像修复与扩散模型

    MagicRemover 是一种基于强大的扩散模型进行文本引导的图像修复的无需调参方法，通过引入注意力引导策略来限制扩散模型的采样过程，实现指定区域的擦除和遮挡内容的恢复，同时提出一种分类器优化算法以在少量采样步骤内提高去噪稳定性，并通过定量评估和用户研究与最先进的方法进行广泛的比较，显示出 MagicRemover 在高质量图像修复上的显著改进。

    Oct, 2023

  • 基于轮廓引导的扩散模型目标修复

    使用扩充数据集的方法，通过创建基于注释目标实例的多样化图像和标记对来对实例分割数据集进行增强，同时保留原有标记的一致性。实验结果显示该方法成功生成了实际的目标实例变体，并在扩增区域内引入了多样性。同时，该方法可以与文本指导和其他图像增强技术自然地结合。

    Feb, 2024

  • 深度生成模型在语义图像修复中的应用

    本文提出了一种基于生成模型的新型语义图像修复方法，该方法可在缺失的内容相互独立的情况下进行推理，并取得超越其他方法的像素级真实感。

    Jul, 2016

  • RePaint: 使用去噪扩散概率模型进行修复

    本文提出了 RePaint，一种基于 DDPM 的修复方法，针对自由形式的抠图效果更佳，能够进行信息补充，并对面部和通用图像修复进行了测试。

    Jan, 2022

  • GRIG：少样本生成式残差图像修复

    提出了一种使用 CNN 和 Transformers 进行全局推理的 few-shot generative residual image inpainting 方法，通过图像级和补丁级鉴别器及伪造补丁的对抗训练策略实现高质量修复效果，并通过对比评估表明该方法优于以往的 few-shot image inpainting 方法。

    Apr, 2023

  • 利用去噪扩散隐式模型实现连贯图像修复

    本文介绍一种基于贝叶斯法的 COPAINT 算法，其使用扩散模型来修复图像并通过逐步减小误差的方式来减少与参考图像的偏差，从而优于现有的扩散模型方法。

    Apr, 2023