IJCAIAug, 2019

具有子流形对齐的生成图像修复

PDF
TL;DR本研究提出了一种 GAN-based 图像修复模型，利用局部内在维数测量 GAN 模型学习到的数据子流形与原始数据之间的对齐性，并将 iLID 和 pLID 用作正则化，促进两个层面的子流形对齐：1）改善结构一致性的图像级对齐；2）改善纹理细节的补丁级对齐。经实验证明，我们的模型比现有的最先进模型能够产生更准确的结果。
image inpaintinggan-based modelslocal intrinsic dimensionalitysubmanifold alignmentimage restoration
发现论文，激发创造
  • 深度生成模型在语义图像修复中的应用

    本文提出了一种基于生成模型的新型语义图像修复方法，该方法可在缺失的内容相互独立的情况下进行推理，并取得超越其他方法的像素级真实感。

    Jul, 2016

  • GAN Inversion 高保真图像修复

    本文提出了一种新的用于图像修复的 GAN 反演模型 InvertFill，它包括一个带有预调制模块的编码器和一个包含 F&W + 潜在空间的 GAN 生成器。通过使用 F&W + 潜在空间和 Soft-update Mean Latent 模块，该模型能够更好地实现图像修复。该模型在四个具有挑战性的数据集上的综合实验结果表明，在视觉和定量上优于现有的高级方法，并且很好地支持跨域图像的修复。

    Aug, 2022

  • LaFIn: 基于地标引导的人脸修复生成模型

    本文提出了一种基于深度学习的人脸修复算法，结合人脸关键点预测和图像修复，实现了对人脸姿态、表情和遮挡等多方面的修复。在 CelebA-HQ 和 CelebA 数据集上的实验表明，该算法在视觉效果和定量评估上均超过了现有算法。同时，本文还发现高质量的修复图像和其关键点可以有效提高关键点预测模型的性能，在 300W 和 WFLW 数据集上也得到了验证。

    Nov, 2019

  • 基于生成对抗网络的基于补丁的图像修复

    本文提出了一种基于生成对抗网络（GAN）框架的图像修复方法，该方法利用全局 GAN（G-GAN）架构和 PatchGAN 方法结合进行鉴别器网络的构建，可较好地实现图像贴图的局部连续性和全局特征。经大量评估发现，与最新的现有技术相比，该框架在视觉和数量评估方面均取得了显著的改进。

    Mar, 2018

  • GRIG：少样本生成式残差图像修复

    提出了一种使用 CNN 和 Transformers 进行全局推理的 few-shot generative residual image inpainting 方法，通过图像级和补丁级鉴别器及伪造补丁的对抗训练策略实现高质量修复效果，并通过对比评估表明该方法优于以往的 few-shot image inpainting 方法。

    Apr, 2023

  • 具有上下文关注机制的生成图像修复

    本文提出了一种基于生成模型和卷积神经网络的图像修补方法，通过利用周围图像特征进行网络训练，生成的修补图像具有更高的质量和更逼真的纹理结构。

    Jan, 2018

  • 图像细粒度修复

    本文提出了一种利用扩张卷积密集组合，通过设计自主回归损失、几何对齐约束项和具有局部和全局分支的判别器等方法改进图像修复的 GAN 模型。实验表明，该方法在多个公共数据集上都优于现有的最先进方法。

    Feb, 2020

  • 利用语义引导的生成对抗网络提高序列修复的一致性和正确性

    使用语义条件生成对抗网络（GAN）进行序列修复，以在维护图像手势和场景语义的同时实现修复一致性和正确性，产生更具吸引力的图像。

    Nov, 2017

  • 基于多模态的无偏导向图像修复

    该论文介绍了一种用于图像修复的新型深度神经网络，该网络包含了一个修复分支和两个辅助分支，能够有效地利用多模式定位和语义信息，实现对各种正 / 不规则图像遮挡的修复，达到了最好的效果。

    Aug, 2022

  • In&Out: 通过 GAN 反演实现多样化的图像出油画

    本研究提出了一种基于生成式对抗网络的图像拓展方法，通过对多个潜在编码的生成进行条件渲染，实现了对图像的多样化拓展，并可对分类输入进行拓展，其拓展区域结构和内容更加丰富，表现出更高的视觉质量和多样性。

    Apr, 2021