ECCVAug, 2022

通过引导式 PatchMatch 和自动筛选在现代相机分辨率下的修补

PDF
TL;DR通过结合深度学习和传统方法，使用 LaMa 和 PatchMatch 对超过 4K 分辨率的图像进行修复，并通过一种新颖的策略即 8x8 反对称成对偏好矩阵的列求和来选择一个好的修复结果。实验结果优于 8 种基线模型和 4 种 SOTA 模型。
deep learningimage inpainting4k resolutionpatchmatchcuration module
发现论文，激发创造
  • 使用多尺度神经补丁合成的高分辨率图像修复

    提出一种基于多尺度神经网络贴片合成方法的图像修复算法，通过联合优化图像内容和纹理约束，不仅保留了上下文结构，而且通过匹配最相似的中间层特征相关性，产生高频细节。在 ImageNet 和 Paris Streetview 数据集上，该方法取得了最先进的修复准确性。

    Nov, 2016

  • 迭代置信反馈和引导上采样的高分辨率图像修复

    本文提出了一种基于反馈机制的迭代图像修复方法，该方法使用深度生成模型输出填补结果和对应的置信度图作为反馈，结合引导上采样网络和真实对象移除场景下的训练数据的综合使用来实现高效图像修补。实验表明，该方法在定量和定性方面均优于现有方法。

    May, 2020

  • 超高分辨率图像修复的上下文残差聚合

    提出了一种上下文残差聚合 (CRA) 机制来产生高频残差，从而实现对低分辨率预测的重量级聚合。该模型在小图片上进行训练，可在高分辨率图片上进行推断，其能力可达到以前的学习基础方法所无法实现的程度。

    May, 2020

  • 基于深度学习的图像和视频修复研究综述

    通过深度学习，对于图像和视频修复的基于深度学习的方法进行综合评述，并从高水平的修复流程、深度学习架构、模块设计等多个角度进行分类总结。同时，讨论了训练目标、常见基准数据集、评估指标以及各修复方法的优势、局限性及实际应用，并探讨了公开挑战和未来可能的研究方向。

    Jan, 2024

  • 带有门控卷积和上下文重建损失的全景图像修复

    基于深度学习的方法在全景图像修复任务中显示出令人鼓舞的结果，但现有方法难以区分有效像素与无效像素并找到适当的参考区域，从而导致修复结果中出现伪影。针对这些挑战，我们提出了一种全景图像修复框架，包括一个面部生成器、一个立方体生成器、一个附属分支和两个判别器。我们使用 Cubemap 投影格式作为网络输入。生成器通过门控卷积区分有效像素和无效像素，而附属分支采用上下文重建损失来指导生成器找到最适合修复缺失区域的参考补丁。在 PSNR 和 SSIM 方面，将所提出的方法与最先进的方法 (SOTA) 在 SUN360 Street View 数据集上进行比较。实验结果和消融分析表明，所提出的方法在定量和定性方面均优于 SOTA。

    Feb, 2024

  • 基于上下文的图像修复：推断、匹配和翻译

    本文提出了一种基于深度神经网络和纹理传播的学习方法来完成图像修复，通过分离任务为推理和翻译两个步骤并用简单的启发式算法指导局部纹理从边界到空洞的传播，我们证明了我们的方法在几个公共数据集上能够产生比以前的最先进方法更高质量的视觉结果。

    Nov, 2017

  • 基于多模态的无偏导向图像修复

    该论文介绍了一种用于图像修复的新型深度神经网络，该网络包含了一个修复分支和两个辅助分支，能够有效地利用多模式定位和语义信息，实现对各种正 / 不规则图像遮挡的修复，达到了最好的效果。

    Aug, 2022

  • HD-Painter：具高分辨率和忠实预示文字引导的扩散模型图像修复

    最近的文本引导图像修复研究表明，HD-Painter 是一个完全无需训练的方法，可根据用户的提示进行高分辨率图像修复，并在文本对齐和生成准确性方面取得显著提升。

    Dec, 2023

  • 用傅里叶卷积实现稳健的高分辨率大面罩修复

    提出了一种基于快速傅里叶卷积（FFC）的图像修复网络结构的新方法 —— 大掩模修复（LaMa），该方法使用高接受场感知损失和大型训练掩模使网络具有更大的接受场，通过在各项数据集上的实验得到了优越的性能。

    Sep, 2021

  • MAT: 大洞图像修复的掩模感知 Transformer

    本文提出了一种基于 transformer 的大孔修复模型，它结合了大尺寸的图像处理和 transformer 的优势，通过在注意力模块中定制面向修复的 transformer 块并使用动态掩码来聚合非局部信息，得到了在多个基准数据集上最先进的效果。

    Mar, 2022