Feb, 2022

自行修复：以样本为导向的人脸生成修复

PDF
TL;DR我们提出了一种新颖的基于示例引导的面部修复框架 EXE-GAN，它利用生成对抗网络来维护原始面部图像的质量，并通过同步使用输入图像的全局风格，随机潜在编码产生的随机风格和范例图像的示例风格来完整图像的典型面部属性。为了保证修复区域的自然过渡，我们介绍了一种新颖的空间变量梯度反向传播技术，通过基于空间位置调整损失梯度来实现。在公共 CelebA-HQ 和 FFHQ 数据集上的广泛评估和实际应用验证了 EXE-GAN 在面部修复的视觉质量方面的优越性。
facial inpaintinggenerative adversarial networksexemplar-guidedattribute similarity metricspatial variant gradient backpropagation
发现论文，激发创造
  • 基于示例生成对抗网络的眼睛修复

    本文提出一种基于 Exemplar GANs 的新型修复方法，可以利用样本信息，生成高质量、个性化的修复结果，并且在多个点插入其它信息以增加描述能力，将此方法应用于天然图片中的眼睛修复任务，并开发了新的数据集进行比较。

    Dec, 2017

  • E2F-Net：通过 StyleGAN 潜空间进行眼睛到面部修补

    该研究提出了一种基于生成对抗网络的新模型（E2F-Net），通过从眼部至面部的区域提取身份和非身份特征，并将其映射到预训练的 StyleGAN 生成器的潜空间中，实现面部修复和重构。通过大量实验证明，该方法在较少的训练和监督努力的情况下成功重建了具有高质量的整个面部，超过了当前的技术水平。

    Mar, 2024

  • 基于 GAN 的面部视频修复中的现实地标导向

    本研究中我们提出了一种用于表情驱动的视频修复的网络，利用生成对抗网络来处理静态和移动的遮挡物以生成完整的人脸图像，并借助面部标志和无遮挡参考图像来保持用户身份的一致性和情感的细节修复，为静态和动态帧中的面部视频消除遮挡提供了逼真和连贯的结果。

    Feb, 2024

  • 利用生成对抗网络的图像外延和融合

    本研究提出了两种用于图像外推的方法，即使用上下文编码器和单图像生成模型，并演示了 GAN 在产生合理的外推结果方面的潜在能力。通过将幻想的细节与原始图像的风格相融合，以期进一步提高结果的质量，并可能支持任意输出分辨率。

    Dec, 2019

  • 基于生成对抗网络的基于补丁的图像修复

    本文提出了一种基于生成对抗网络（GAN）框架的图像修复方法，该方法利用全局 GAN（G-GAN）架构和 PatchGAN 方法结合进行鉴别器网络的构建，可较好地实现图像贴图的局部连续性和全局特征。经大量评估发现，与最新的现有技术相比，该框架在视觉和数量评估方面均取得了显著的改进。

    Mar, 2018

  • 基于 GAN 的高效图像修复算法

    COVID-19 全球大流行对人脸识别带来了新的挑战，掩面的现象出现后，作者考虑利用图像修复中的机器学习方法来解决这个问题，并通过生成对抗网络（GAN）的生成能力和 autoencoder 的潜力，实现对原本被口罩遮挡的部分进行完整性修复。

    Sep, 2023

  • 图像细粒度修复

    本文提出了一种利用扩张卷积密集组合，通过设计自主回归损失、几何对齐约束项和具有局部和全局分支的判别器等方法改进图像修复的 GAN 模型。实验表明，该方法在多个公共数据集上都优于现有的最先进方法。

    Feb, 2020

  • MulGAN：基于样例的人脸属性编辑

    本文中提出的基于属性标签限制的模型，可以通过在预定义的潜在特征空间中直接应用属性标签并使用属性分类损失，从图像中提取属性相关信息，以实现用于编辑多个属性的面部属性传输，同时通过设计新的模型结构来提高属性传输能力。在 CelebA 数据集上的实验结果表明，该方法有效地克服了其他方法存在的三个限制。

    Dec, 2019

  • 无穷无尽：用生成对抗网络进行图像扩展

    本文介绍了一种基于生成对抗网络 (GAN) 的语义条件方法，可在图像扩展、全景图像生成等领域中取得强大的成果。

    Aug, 2019

  • 画出框框之外：使用 GAN 进行图像外放

    通过深度学习的方式，利用基于 DCGAN 架构的图像分割技术及本地鉴别器提升图像边界的质量，从而实现图片的画外部分（extrapolation），其结果表明利用深度学习方法进行画外部分的研究既可行又具有前景。

    Aug, 2018