NIPSOct, 2018

基于生成多列卷积神经网络的图像修复

PDF
TL;DR本文提出了一种基于生成的多列网络来进行图像修复的方法，该方法通过采用置信度驱动的重建误差和多重随机场正则化来增强图像的全局和局部细节，在不需要进行后期处理的情况下，在挑战性的街景、人脸和自然场景下产生了令人信服的视觉效果。
generativemulti-column networkimage inpaintingreconstruction lossmrf regularization
发现论文，激发创造
  • 基于区域的生成对抗图像修复技术：针对大面积缺失区域

    我们提出了一个通用的修复损坏图像的网络，能够分开处理连续和不连续区域，使用区域卷积来处理已有区域和缺失区域，并引入互相关损失以提供更多信息。实验结果表明，相对于现有方法，我们的方法在整张图片上能更精确地还原出缺失的区域。

    Sep, 2019

  • 图像细粒度修复

    本文提出了一种利用扩张卷积密集组合，通过设计自主回归损失、几何对齐约束项和具有局部和全局分支的判别器等方法改进图像修复的 GAN 模型。实验表明，该方法在多个公共数据集上都优于现有的最先进方法。

    Feb, 2020

  • 具有上下文关注机制的生成图像修复

    本文提出了一种基于生成模型和卷积神经网络的图像修补方法，通过利用周围图像特征进行网络训练，生成的修补图像具有更高的质量和更逼真的纹理结构。

    Jan, 2018

  • 带有门控卷积和上下文重建损失的全景图像修复

    基于深度学习的方法在全景图像修复任务中显示出令人鼓舞的结果，但现有方法难以区分有效像素与无效像素并找到适当的参考区域，从而导致修复结果中出现伪影。针对这些挑战，我们提出了一种全景图像修复框架，包括一个面部生成器、一个立方体生成器、一个附属分支和两个判别器。我们使用 Cubemap 投影格式作为网络输入。生成器通过门控卷积区分有效像素和无效像素，而附属分支采用上下文重建损失来指导生成器找到最适合修复缺失区域的参考补丁。在 PSNR 和 SSIM 方面，将所提出的方法与最先进的方法 (SOTA) 在 SUN360 Street View 数据集上进行比较。实验结果和消融分析表明，所提出的方法在定量和定性方面均优于 SOTA。

    Feb, 2024

  • JPGNet：联合预测滤波和生成网络用于图像修复

    本文提出了一套联合预测滤波和生成网络的混合框架 JpgNet，通过结合预测滤波网络和生成网络，同时保留局部结构和整体理解，并提出了一种不确定性感知融合网络，可用于图像修复领域。在 Dunhuang、Places2 和 CelebA 等数据集上的实验表明，这项技术可以显著改善三种最先进的生成模型，同时时间成本略有增加。

    Jul, 2021

  • GRIG：少样本生成式残差图像修复

    提出了一种使用 CNN 和 Transformers 进行全局推理的 few-shot generative residual image inpainting 方法，通过图像级和补丁级鉴别器及伪造补丁的对抗训练策略实现高质量修复效果，并通过对比评估表明该方法优于以往的 few-shot image inpainting 方法。

    Apr, 2023

  • 基于多模态的无偏导向图像修复

    该论文介绍了一种用于图像修复的新型深度神经网络，该网络包含了一个修复分支和两个辅助分支，能够有效地利用多模式定位和语义信息，实现对各种正 / 不规则图像遮挡的修复，达到了最好的效果。

    Aug, 2022

  • 基于纹理和结构双重生成的图像修补

    该研究提出了一种新的双流网络方法，能够模拟结构约束纹理合成和纹理引导结构重构，并且通过 Bi-directional Gated Feature Fusion 模块和 Contextual Feature Aggregation 模块实现更好的全局一致性和多尺度特征聚合，定量和定性实验证明了该方法的优越性。

    Aug, 2021

  • 使用多尺度神经补丁合成的高分辨率图像修复

    提出一种基于多尺度神经网络贴片合成方法的图像修复算法，通过联合优化图像内容和纹理约束，不仅保留了上下文结构，而且通过匹配最相似的中间层特征相关性，产生高频细节。在 ImageNet 和 Paris Streetview 数据集上，该方法取得了最先进的修复准确性。

    Nov, 2016

  • 端到端级联细化的图像修复及遮罩感知

    提出了一种新的基于掩模感知的修复算法，使用 Mask-Aware Dynamic Filtering (MADF) 学习缺失区域的多尺度特征，采用 Point-wise Normalization (PN) 动态分配权重，在一个端到端的框架中逐步利用重建损失、感知损失和总变分损失进行逐步优化。实验证明该算法在三个公共数据集上表现得非常出色。

    Apr, 2021