AAAIMar, 2023

分割混淆对抗训练和对比学习生成图像修复

PDF
TL;DR本文提出了一种新的对抗训练框架来完成带有分割混淆对抗训练（SCAT）和对比学习的图像修复任务。通过将 SCAT 与标准全局对抗训练相结合，该框架同时具有以下三个优点：修复图像的全局一致性、局部细节特征以及处理任意形状的缺陷。此外，我们还提出了纹理和语义对比学习的损失函数来稳定并改进我们的修复模型的训练，更好地指导修复图像从受损的图像数据点移到真实图像数据点。在两个基准数据集上的广泛实验表明，我们的模型在定性和定量上都具有良好的效果和优越性。
发现论文，激发创造
  • 具有上下文条件生成对抗网络的半监督学习

    本论文介绍了一种基于对抗损失的图像修复半监督学习方法，通过生成器填充图像中的孔洞，再用鉴别器判断图像的真实性，以实现对鉴别器的有监督训练，并在 STL-10 和 PASCAL 数据集上表现出与现有方法相当甚至更好的性能。

    Nov, 2016

  • 图像细粒度修复

    本文提出了一种利用扩张卷积密集组合，通过设计自主回归损失、几何对齐约束项和具有局部和全局分支的判别器等方法改进图像修复的 GAN 模型。实验表明，该方法在多个公共数据集上都优于现有的最先进方法。

    Feb, 2020

  • 基于生成对抗网络的基于补丁的图像修复

    本文提出了一种基于生成对抗网络（GAN）框架的图像修复方法，该方法利用全局 GAN（G-GAN）架构和 PatchGAN 方法结合进行鉴别器网络的构建，可较好地实现图像贴图的局部连续性和全局特征。经大量评估发现，与最新的现有技术相比，该框架在视觉和数量评估方面均取得了显著的改进。

    Mar, 2018

  • 基于区域的生成对抗图像修复技术：针对大面积缺失区域

    我们提出了一个通用的修复损坏图像的网络，能够分开处理连续和不连续区域，使用区域卷积来处理已有区域和缺失区域，并引入互相关损失以提供更多信息。实验结果表明，相对于现有方法，我们的方法在整张图片上能更精确地还原出缺失的区域。

    Sep, 2019

  • SCAT: 基于对抗训练的鲁棒自监督对比学习在文本分类中的应用

    本文提出了一种名为 SCAT 的自我监督对比式学习的新型框架，它可以在不要求已标记数据的情况下学习稳健的表示，并且可以增强现有预训练语言模型的稳健性。

    Jul, 2023

  • 利用语义引导的生成对抗网络提高序列修复的一致性和正确性

    使用语义条件生成对抗网络（GAN）进行序列修复，以在维护图像手势和场景语义的同时实现修复一致性和正确性，产生更具吸引力的图像。

    Nov, 2017

  • GRIG：少样本生成式残差图像修复

    提出了一种使用 CNN 和 Transformers 进行全局推理的 few-shot generative residual image inpainting 方法，通过图像级和补丁级鉴别器及伪造补丁的对抗训练策略实现高质量修复效果，并通过对比评估表明该方法优于以往的 few-shot image inpainting 方法。

    Apr, 2023

  • EdgeConnect: 带有对抗边缘学习的生成图像修复

    本文针对图像修复中存在的细节缺失问题，提出了一种基于两阶段对抗模型 EdgeConnect 的图像修复方法，包括边缘生成器和图像完成网络，通过生成缺失区域的边缘信息并使用其作为先验来填补缺失区域，实验表明该方法在公开数据集 CelebA、Places2 和 Paris StreetView 上具有优异表现。

    Jan, 2019

  • SPG-Net: 图像修复的分割预测和引导网络

    通过引入语义分割信息，本文提出了一种两步法的图像修复模型，将图像修复过程分为分割预测（SP-Net）和分割导向（SG-Net）两个步骤，实验证明，该方法优于现有方法，提供了多模态图像修复的可能性。

    May, 2018

  • 深度生成模型在语义图像修复中的应用

    本文提出了一种基于生成模型的新型语义图像修复方法，该方法可在缺失的内容相互独立的情况下进行推理，并取得超越其他方法的像素级真实感。

    Jul, 2016