Nov, 2020

CR-Fill: 生成式图像修复与辅助上下文重建

PDF
TL;DR通过同时训练辅助的上下文重建任务和修复生成器，我们提出了一种生成器无关的设计来解决存在困难的视觉填充问题，该设计在推理期间只需要差补生成器。实验结果表明，该方法在定量和视觉性能方面表现优于现有技术。
deep generative inpaintingattention layerscontextual reconstructionartifact reductioninference optimization
发现论文，激发创造
  • 具有上下文关注机制的生成图像修复

    本文提出了一种基于生成模型和卷积神经网络的图像修补方法，通过利用周围图像特征进行网络训练，生成的修补图像具有更高的质量和更逼真的纹理结构。

    Jan, 2018

  • 基于上下文注意力机制和 SRGAN 的图像修复系统

    该研究使用深度学习、图像分类和计算机视觉技术的综合方法，利用全称为生成对抗网络（GAN）和上下文关注机制实现图像修复

    Apr, 2022

  • GRIG：少样本生成式残差图像修复

    提出了一种使用 CNN 和 Transformers 进行全局推理的 few-shot generative residual image inpainting 方法，通过图像级和补丁级鉴别器及伪造补丁的对抗训练策略实现高质量修复效果，并通过对比评估表明该方法优于以往的 few-shot image inpainting 方法。

    Apr, 2023

  • 带有门控卷积和上下文重建损失的全景图像修复

    基于深度学习的方法在全景图像修复任务中显示出令人鼓舞的结果，但现有方法难以区分有效像素与无效像素并找到适当的参考区域，从而导致修复结果中出现伪影。针对这些挑战，我们提出了一种全景图像修复框架，包括一个面部生成器、一个立方体生成器、一个附属分支和两个判别器。我们使用 Cubemap 投影格式作为网络输入。生成器通过门控卷积区分有效像素和无效像素，而附属分支采用上下文重建损失来指导生成器找到最适合修复缺失区域的参考补丁。在 PSNR 和 SSIM 方面，将所提出的方法与最先进的方法 (SOTA) 在 SUN360 Street View 数据集上进行比较。实验结果和消融分析表明，所提出的方法在定量和定性方面均优于 SOTA。

    Feb, 2024

  • 上下文编码器：通过修补学习特征

    本研究提出了一种无监督的视觉特征学习方法，称为 Context Encoders，利用卷积神经网络通过上下文预测像素来对图像进行重构，该方法通过重构加对抗性损失双重学习获得更加清晰的结果，这种学习到的特征在分类、检测和分割等任务中表现出了很好的效果。

    Apr, 2016

  • 基于多模态的无偏导向图像修复

    该论文介绍了一种用于图像修复的新型深度神经网络，该网络包含了一个修复分支和两个辅助分支，能够有效地利用多模式定位和语义信息，实现对各种正 / 不规则图像遮挡的修复，达到了最好的效果。

    Aug, 2022

  • 超高分辨率图像修复的上下文残差聚合

    提出了一种上下文残差聚合 (CRA) 机制来产生高频残差，从而实现对低分辨率预测的重量级聚合。该模型在小图片上进行训练，可在高分辨率图片上进行推断，其能力可达到以前的学习基础方法所无法实现的程度。

    May, 2020

  • 基于学习语义先验的上下文感知图像修复

    本文提出了一种基于预训练任务和语义先验的图像修复方法，通过预处理任务学习语义先验并将其适应于图像修复，提出了一种上下文感知的图像修复模型，全面融合全局语义和局部特征，实现了对 Places2，CelebA 和 Paris StreetView 数据集的最新技术水平。

    Jun, 2021

  • 引导式图像修补：通过另一幅图像提取内容替换图像区域

    本文提出了一种基于端到端网络的图像修复方法，使用不同的图像来引导合成新的内容并填充空洞，并在四项研究中展示了优于七种基线方法的更逼真的图像修复结果。

    Mar, 2018

  • 结构修复

    本文介绍了一种基于卷积内容编码器（CE）的视觉修复技术，使用感知重构损失进行训练，该方法可以成功地结构修复各种视觉场景，并结合一种基于神经块的优化算法推出了一种无先验的视觉修复方法。

    Mar, 2018