Mar, 2024

E2F-Net：通过 StyleGAN 潜空间进行眼睛到面部修补

PDF
TL;DR该研究提出了一种基于生成对抗网络的新模型（E2F-Net），通过从眼部至面部的区域提取身份和非身份特征，并将其映射到预训练的 StyleGAN 生成器的潜空间中，实现面部修复和重构。通过大量实验证明，该方法在较少的训练和监督努力的情况下成功重建了具有高质量的整个面部，超过了当前的技术水平。
face inpaintinggenerative adversarial networkperiocular regioneyes-to-face networkstylegan
发现论文，激发创造
  • 自行修复：以样本为导向的人脸生成修复

    我们提出了一种新颖的基于示例引导的面部修复框架 EXE-GAN，它利用生成对抗网络来维护原始面部图像的质量，并通过同步使用输入图像的全局风格，随机潜在编码产生的随机风格和范例图像的示例风格来完整图像的典型面部属性。为了保证修复区域的自然过渡，我们介绍了一种新颖的空间变量梯度反向传播技术，通过基于空间位置调整损失梯度来实现。在公共 CelebA-HQ 和 FFHQ 数据集上的广泛评估和实际应用验证了 EXE-GAN 在面部修复的视觉质量方面的优越性。

    Feb, 2022

  • 基于 GAN 的面部视频修复中的现实地标导向

    本研究中我们提出了一种用于表情驱动的视频修复的网络，利用生成对抗网络来处理静态和移动的遮挡物以生成完整的人脸图像，并借助面部标志和无遮挡参考图像来保持用户身份的一致性和情感的细节修复，为静态和动态帧中的面部视频消除遮挡提供了逼真和连贯的结果。

    Feb, 2024

  • 基于示例生成对抗网络的眼睛修复

    本文提出一种基于 Exemplar GANs 的新型修复方法，可以利用样本信息，生成高质量、个性化的修复结果，并且在多个点插入其它信息以增加描述能力，将此方法应用于天然图片中的眼睛修复任务，并开发了新的数据集进行比较。

    Dec, 2017

  • 基于 GAN 的高效图像修复算法

    COVID-19 全球大流行对人脸识别带来了新的挑战，掩面的现象出现后，作者考虑利用图像修复中的机器学习方法来解决这个问题，并通过生成对抗网络（GAN）的生成能力和 autoencoder 的潜力，实现对原本被口罩遮挡的部分进行完整性修复。

    Sep, 2023

  • GAN 反演的多样修复和编辑

    利用样式生成对抗网络（StyleGAN）的潜在空间，将真实图像反转并通过语义丰富的特征表示进行多项编辑，进一步扩展到将被擦除的图像反转到 GAN 的潜在空间中进行逼真修复和编辑的更为困难的任务，通过将反转的潜在编码与随机样本的 StyleGAN 映射特征组合，通过训练编码器和混合网络，利用生成的数据来鼓励混合网络同时利用两个输入，并利用高速特征来防止修复部分与未被擦除部分的颜色不一致，并通过与先进的反转和修复方法进行实验和对比，定量指标和视觉比较显示出显著的改进。

    Jul, 2023

  • GAN Inversion 高保真图像修复

    本文提出了一种新的用于图像修复的 GAN 反演模型 InvertFill，它包括一个带有预调制模块的编码器和一个包含 F&W + 潜在空间的 GAN 生成器。通过使用 F&W + 潜在空间和 Soft-update Mean Latent 模块，该模型能够更好地实现图像修复。该模型在四个具有挑战性的数据集上的综合实验结果表明，在视觉和定量上优于现有的高级方法，并且很好地支持跨域图像的修复。

    Aug, 2022

  • 通过在 GAN 的潜空间中寻找方向实现一次性神经人脸再现

    本论文提出了一种神经面部 / 头部再现的框架，其目标是将目标面部的 3D 头部方向和表情转移到源面部。我们采用了不同的方法，通过使用（精调）预训练的生成对抗网络，绕过了学习嵌入网络以实现身份和头部姿态 / 表情分离的困难任务，以提高生成图像的质量。我们的方法通过将真实图像嵌入生成对抗网络的潜在空间，成功实现了对真实世界面部的再现。

    Feb, 2024

  • LaFIn: 基于地标引导的人脸修复生成模型

    本文提出了一种基于深度学习的人脸修复算法，结合人脸关键点预测和图像修复，实现了对人脸姿态、表情和遮挡等多方面的修复。在 CelebA-HQ 和 CelebA 数据集上的实验表明，该算法在视觉效果和定量评估上均超过了现有算法。同时，本文还发现高质量的修复图像和其关键点可以有效提高关键点预测模型的性能，在 300W 和 WFLW 数据集上也得到了验证。

    Nov, 2019

  • 大范围眼部遮挡下的身份保持人脸修复

    本研究提出了一种基于深度学习的面部修复方法，能够在大面积遮挡的情况下实现多角度视角的面部完成重构，并保持面部的身份特征。与传统的面部修复方法不同，该方法基于生成网络，具有特定的约束条件，能够合成具有一致身份特征的连贯面部图像，拥有更好的稳定性和合成技巧。

    Jul, 2018

  • E2Style：提高 StyleGAN 反演的效率和效果

    该研究针对 StyleGAN 反演问题，提出了一种效率和效果均有显著提升的前向网络 E2Style，通过浅层 backbone、多头设计，多阶段细化等方式，结合了基于优化与前向方法的优点。实验结果表明 E2Style 在效率和结果质量上较现有前向方法有较大优势，并且在保持前向方法高效的同时达到了和基于优化方法同等性能。

    Apr, 2021