Mar, 2024

基于修复驱动的遮罩优化方法用于物体去除

PDF
TL;DR本文提出了一种优化遮罩的方法，通过图像修复来提高对象去除的质量。通过使用分割提取的对象遮罩来训练修复网络，并在推断步骤中使用这些遮罩，解决了训练和推断图像之间的域差异问题。此外，通过连接分割网络和修复网络进行端到端训练，以改进修复性能，并通过遮罩扩展损失来实现大型和小型遮罩之间的权衡，进一步增强了端到端训练的效果。实验结果证明了我们的方法在通过图像修复实现更好的对象去除方面的有效性。
mask optimizationobject removalimage inpaintingdomain gapend-to-end training
发现论文，激发创造
  • Inst-Inpaint: 使用扩散模型指导对象移除

    本论文提出了一种基于自然语言输入的图像修复算法，名为 Inst-Inpaint，可同时估计要移除的对象，并对其进行修复。为了支持该任务，我们首先构建了一个名为 GQA-Inpaint 的数据集。我们在合成和真实图像数据集上运行了各种 GAN 和扩散基线，使用不同的评估指标比较方法，并展示了显著的定量和定性改进。

    Apr, 2023

  • 学习通过首先移除图像对象来添加图像对象的绘画

    通过利用分割蒙版数据集和在蒙版内修复的修复模型，我们可以实现自动逆向修复过程，将对象添加到图像中，在没有用户提供的输入蒙版的情况下，提供了一种无缝地根据文本指令添加对象的方法。

    Apr, 2024

  • AURA：基于随机输入采样的自动生成遮罩技术用于物体消除

    该论文提出了一种基于可解释的人工智能 (XAI) 方法的自动输入遮罩生成器，可以更好地移除图像中的物体，并提出了 FID$^*$ 和 U-IDS$^*$ 等新的评估指标来适当评估物体移除器的质量。

    May, 2023

  • 填写 ____ （基于扩散的图像修复流程）

    图像修复是将图像中的缺失或故意遮挡部分恢复出来的过程，在现代修复技术中，我们提供了当前主要方法的概述和评估，并着重解决了现有模型在生成过程中缺乏提示和控制能力的问题，并提供了多种实现该功能的方法。最终，通过对生成的高质量图像进行定性检查，我们评估了我们的方法的结果是否能正确地修复指定区域。

    Mar, 2024

  • 基于轮廓引导的扩散模型目标修复

    使用扩充数据集的方法，通过创建基于注释目标实例的多样化图像和标记对来对实例分割数据集进行增强，同时保留原有标记的一致性。实验结果显示该方法成功生成了实际的目标实例变体，并在扩增区域内引入了多样性。同时，该方法可以与文本指导和其他图像增强技术自然地结合。

    Feb, 2024

  • 基于多模态的无偏导向图像修复

    该论文介绍了一种用于图像修复的新型深度神经网络，该网络包含了一个修复分支和两个辅助分支，能够有效地利用多模式定位和语义信息，实现对各种正 / 不规则图像遮挡的修复，达到了最好的效果。

    Aug, 2022

  • 空城市：针对动态不变空间的图像修复

    本论文提出了一个深度学习框架，通过使用卷积神经网络的多类语义分割和条件生成对抗模型来将显示动态内容的图片转换为逼真的静态帧，这种方法可以被用于增强现实领域和基于视觉的机器人定位目的，并在移除动态对象并模拟它们背后的静态结构方面，展示了我们方法的定性和定量比较结果。

    Sep, 2018

  • VORNet: 对象移除的时空一致视频修复

    本文提出了一种基于深度学习的视频物体移除网络（VORNet），该方法通过结合光流修补和基于图像修补模型的方法，在时空上保持稳定性，对生成的视频进行了客观和主观评估，结果表明与现有方法相比，我们的 VORNet 在时空上生成了更加稳定的视频。

    Apr, 2019

  • 基于 GAN 的面部视频修复中的现实地标导向

    本研究中我们提出了一种用于表情驱动的视频修复的网络，利用生成对抗网络来处理静态和移动的遮挡物以生成完整的人脸图像，并借助面部标志和无遮挡参考图像来保持用户身份的一致性和情感的细节修复，为静态和动态帧中的面部视频消除遮挡提供了逼真和连贯的结果。

    Feb, 2024

  • SaiNet: 带有生成网络的立体感知物体遮挡修复

    本研究提出了一种端到端的网络，旨在利用基于 Partial Convolutions 的边缘引导 U-Net 网络填充大面积部分，通过引入视差损失实现多视图立体一致性，采用真实立体遮罩训练，结果显示与之前的技术相比有一定的竞争优势。

    May, 2022