Feb, 2024

带有门控卷积和上下文重建损失的全景图像修复

PDF
TL;DR基于深度学习的方法在全景图像修复任务中显示出令人鼓舞的结果，但现有方法难以区分有效像素与无效像素并找到适当的参考区域，从而导致修复结果中出现伪影。针对这些挑战，我们提出了一种全景图像修复框架，包括一个面部生成器、一个立方体生成器、一个附属分支和两个判别器。我们使用 Cubemap 投影格式作为网络输入。生成器通过门控卷积区分有效像素和无效像素，而附属分支采用上下文重建损失来指导生成器找到最适合修复缺失区域的参考补丁。在 PSNR 和 SSIM 方面，将所提出的方法与最先进的方法 (SOTA) 在 SUN360 Street View 数据集上进行比较。实验结果和消融分析表明，所提出的方法在定量和定性方面均优于 SOTA。
发现论文，激发创造
  • 具有上下文关注机制的生成图像修复

    本文提出了一种基于生成模型和卷积神经网络的图像修补方法，通过利用周围图像特征进行网络训练，生成的修补图像具有更高的质量和更逼真的纹理结构。

    Jan, 2018

  • 基于生成多列卷积神经网络的图像修复

    本文提出了一种基于生成的多列网络来进行图像修复的方法，该方法通过采用置信度驱动的重建误差和多重随机场正则化来增强图像的全局和局部细节，在不需要进行后期处理的情况下，在挑战性的街景、人脸和自然场景下产生了令人信服的视觉效果。

    Oct, 2018

  • 基于上下文注意力机制和 SRGAN 的图像修复系统

    该研究使用深度学习、图像分类和计算机视觉技术的综合方法，利用全称为生成对抗网络（GAN）和上下文关注机制实现图像修复

    Apr, 2022

  • 基于区域的生成对抗图像修复技术：针对大面积缺失区域

    我们提出了一个通用的修复损坏图像的网络，能够分开处理连续和不连续区域，使用区域卷积来处理已有区域和缺失区域，并引入互相关损失以提供更多信息。实验结果表明，相对于现有方法，我们的方法在整张图片上能更精确地还原出缺失的区域。

    Sep, 2019

  • 门控卷积自由形式图像修复

    本文提出了一种建基于门控卷积的生成式图像修复系统，用于完成自由形状掩码和引导的图片修复任务。所提出的门控卷积解决了通用卷积中将所有输入像素视为有效像素的问题，并提供了一种可学习的动态特征选择机制，以适应于每个通道和空间位置上的输入。作者还提出了一种名为 SN-PatchGAN 的基于图像块的 GAN 损失，可以应用于自由形状掩码和根据用户指导进行图像扩展，并证明所提出的方法比以往任何方法都更加高质量和灵活性。

    Jun, 2018

  • 深度生成模型在语义图像修复中的应用

    本文提出了一种基于生成模型的新型语义图像修复方法，该方法可在缺失的内容相互独立的情况下进行推理，并取得超越其他方法的像素级真实感。

    Jul, 2016

  • CR-Fill: 生成式图像修复与辅助上下文重建

    通过同时训练辅助的上下文重建任务和修复生成器，我们提出了一种生成器无关的设计来解决存在困难的视觉填充问题，该设计在推理期间只需要差补生成器。实验结果表明，该方法在定量和视觉性能方面表现优于现有技术。

    Nov, 2020

  • 图像细粒度修复

    本文提出了一种利用扩张卷积密集组合，通过设计自主回归损失、几何对齐约束项和具有局部和全局分支的判别器等方法改进图像修复的 GAN 模型。实验表明，该方法在多个公共数据集上都优于现有的最先进方法。

    Feb, 2020

  • 基于纹理和结构双重生成的图像修补

    该研究提出了一种新的双流网络方法，能够模拟结构约束纹理合成和纹理引导结构重构，并且通过 Bi-directional Gated Feature Fusion 模块和 Contextual Feature Aggregation 模块实现更好的全局一致性和多尺度特征聚合，定量和定性实验证明了该方法的优越性。

    Aug, 2021

  • GLaMa：通用图像修补的联合空间和频率损失

    介绍了一种名为 GLaMa 的基于 LaMa 图像修复框架的简单而通用的方法，该方法可以提高模型对于各种遮罩的鲁棒性，包括在训练阶段引入更多的退化图像以及引入基于频率的损失函数，并在 NTIRE 2022 图像修复挑战中获得了第一名。

    May, 2022