May, 2018

SPG-Net: 图像修复的分割预测和引导网络

PDF
TL;DR通过引入语义分割信息，本文提出了一种两步法的图像修复模型，将图像修复过程分为分割预测（SP-Net）和分割导向（SG-Net）两个步骤，实验证明，该方法优于现有方法，提供了多模态图像修复的可能性。
image inpaintingdeep generative modelssemantic segmentationimage synthesisboundary
发现论文，激发创造
  • 语义感知的混合场景图像修复的指导与评估

    本研究提出了一种基于语义引导和评估网络的图像修复算法，该算法在每个缩放级别利用语义分割图指导图像修复过程，并利用迭代更新方法实现结构先验和图像修复的协同更新，实验结果表明该方法在图像纹理清晰度和真实感等方面具有优越性。

    Mar, 2020

  • 深度生成模型在语义图像修复中的应用

    本文提出了一种基于生成模型的新型语义图像修复方法，该方法可在缺失的内容相互独立的情况下进行推理，并取得超越其他方法的像素级真实感。

    Jul, 2016

  • 使用语义指导的交互式图像修复

    本研究提出了一种新的图像修复方法，结合了神经网络的先验知识和用户的引导，使用自动编码器和语义解码器完成两个阶段，实现对修复结果的自定义控制，实验结果表明该方法在修复质量和可控性方面优于现有方法。

    Jan, 2022

  • 基于多模态的无偏导向图像修复

    该论文介绍了一种用于图像修复的新型深度神经网络，该网络包含了一个修复分支和两个辅助分支，能够有效地利用多模式定位和语义信息，实现对各种正 / 不规则图像遮挡的修复，达到了最好的效果。

    Aug, 2022

  • JPGNet：联合预测滤波和生成网络用于图像修复

    本文提出了一套联合预测滤波和生成网络的混合框架 JpgNet，通过结合预测滤波网络和生成网络，同时保留局部结构和整体理解，并提出了一种不确定性感知融合网络，可用于图像修复领域。在 Dunhuang、Places2 和 CelebA 等数据集上的实验表明，这项技术可以显著改善三种最先进的生成模型，同时时间成本略有增加。

    Jul, 2021

  • 文本引导神经图像修复

    本文提出一种名为 TDANet 的图像修复模型，其通过文本的描述信息和图像的辅助区域来确定修复区的语义内容，利用双模态注意机制提取出明确的语义信息并应用图像与文本匹配损失，其结果表明，在两个公开数据集上，TDANet 模型在定量和定性评测中均达到了新的最佳水平，并且生成的图像与文本描述一致。

    Apr, 2020

  • 引导式图像修补：通过另一幅图像提取内容替换图像区域

    本文提出了一种基于端到端网络的图像修复方法，使用不同的图像来引导合成新的内容并填充空洞，并在四项研究中展示了优于七种基线方法的更逼真的图像修复结果。

    Mar, 2018

  • 分割混淆对抗训练和对比学习生成图像修复

    本文提出了一种新的对抗训练框架来完成带有分割混淆对抗训练（SCAT）和对比学习的图像修复任务。通过将 SCAT 与标准全局对抗训练相结合，该框架同时具有以下三个优点：修复图像的全局一致性、局部细节特征以及处理任意形状的缺陷。此外，我们还提出了纹理和语义对比学习的损失函数来稳定并改进我们的修复模型的训练，更好地指导修复图像从受损的图像数据点移到真实图像数据点。在两个基准数据集上的广泛实验表明，我们的模型在定性和定量上都具有良好的效果和优越性。

    Mar, 2023

  • SaiNet: 带有生成网络的立体感知物体遮挡修复

    本研究提出了一种端到端的网络，旨在利用基于 Partial Convolutions 的边缘引导 U-Net 网络填充大面积部分，通过引入视差损失实现多视图立体一致性，采用真实立体遮罩训练，结果显示与之前的技术相比有一定的竞争优势。

    May, 2022

  • 从弱监督中进行语义前景修补

    本文介绍了使用一种新型的卷积神经网络（MPI）完成语义场景理解中的语义前景修复任务的方法，该方法不需要手动标注背景，并且其比之前最先进的两阶段方法提高了 3% 的 IoU，并在 Cityscapes 测试中表现得更有效率。

    Sep, 2019