May, 2023

AURA：基于随机输入采样的自动生成遮罩技术用于物体消除

PDF
TL;DR该论文提出了一种基于可解释的人工智能 (XAI) 方法的自动输入遮罩生成器，可以更好地移除图像中的物体，并提出了 FID$^*$ 和 U-IDS$^*$ 等新的评估指标来适当评估物体移除器的质量。
image inpaintingobject removalautomatic mask generationxaievaluation metrics
发现论文，激发创造
  • 基于修复驱动的遮罩优化方法用于物体去除

    本文提出了一种优化遮罩的方法，通过图像修复来提高对象去除的质量。通过使用分割提取的对象遮罩来训练修复网络，并在推断步骤中使用这些遮罩，解决了训练和推断图像之间的域差异问题。此外，通过连接分割网络和修复网络进行端到端训练，以改进修复性能，并通过遮罩扩展损失来实现大型和小型遮罩之间的权衡，进一步增强了端到端训练的效果。实验结果证明了我们的方法在通过图像修复实现更好的对象去除方面的有效性。

    Mar, 2024

  • Inst-Inpaint: 使用扩散模型指导对象移除

    本论文提出了一种基于自然语言输入的图像修复算法，名为 Inst-Inpaint，可同时估计要移除的对象，并对其进行修复。为了支持该任务，我们首先构建了一个名为 GQA-Inpaint 的数据集。我们在合成和真实图像数据集上运行了各种 GAN 和扩散基线，使用不同的评估指标比较方法，并展示了显著的定量和定性改进。

    Apr, 2023

  • 学习通过首先移除图像对象来添加图像对象的绘画

    通过利用分割蒙版数据集和在蒙版内修复的修复模型，我们可以实现自动逆向修复过程，将对象添加到图像中，在没有用户提供的输入蒙版的情况下，提供了一种无缝地根据文本指令添加对象的方法。

    Apr, 2024

  • 对抗性场景编辑：弱监督下的自动物体去除

    本文旨在研发一种自动化、不需要交互即可实现目标物体移除的模型，其基于生成对抗网络框架，利用图像级别标签和非配对数据进行训练。通过两个关键贡献：一个由掩膜生成器和图像修复器组成的两阶段编辑器体系结构，以及一种基于 GAN 的先验模型，该模型能灵活地整合物体形状知识。我们在两个数据集上进行实验表明，该方法能够有效地去除各种不同的物体，仅需要较弱的监督学习。

    Jun, 2018

  • 基于上下文注意力机制和 SRGAN 的图像修复系统

    该研究使用深度学习、图像分类和计算机视觉技术的综合方法，利用全称为生成对抗网络（GAN）和上下文关注机制实现图像修复

    Apr, 2022

  • 基于 GAN 的高效图像修复算法

    COVID-19 全球大流行对人脸识别带来了新的挑战，掩面的现象出现后，作者考虑利用图像修复中的机器学习方法来解决这个问题，并通过生成对抗网络（GAN）的生成能力和 autoencoder 的潜力，实现对原本被口罩遮挡的部分进行完整性修复。

    Sep, 2023

  • 基于多模态的无偏导向图像修复

    该论文介绍了一种用于图像修复的新型深度神经网络，该网络包含了一个修复分支和两个辅助分支，能够有效地利用多模式定位和语义信息，实现对各种正 / 不规则图像遮挡的修复，达到了最好的效果。

    Aug, 2022

  • 使用语义指导的交互式图像修复

    本研究提出了一种新的图像修复方法，结合了神经网络的先验知识和用户的引导，使用自动编码器和语义解码器完成两个阶段，实现对修复结果的自定义控制，实验结果表明该方法在修复质量和可控性方面优于现有方法。

    Jan, 2022

  • GridMask 数据增强

    本文提出了一种基于信息删除的新型数据增强方法 `GridMask'，在各种计算机视觉任务中取得了最先进的结果。通过对信息删除的需求的分析，我们展示了现有信息删除算法的局限性，并提出了简单而又非常有效的我们的结构化方法。我们的广泛实验证明了我们的方法优于最新的 AutoAugment，在每个领域都有明显提高。

    Jan, 2020

  • 用于模型可解释性的基于遮罩的显著性方法研究与简化

    本研究采用掩蔽技术生成显著性地图，发现训练分类器的同时，采用掩蔽技术生成显著性地图具有很高的性能，并且 10 个样本每类也可以显著提高显著性地图的精度。

    Oct, 2020