CVPRJul, 2019

基于 GAN 的潜空间在人脸语义编辑中的应用解释

PDF
TL;DR本文提出了一个名为 InterFaceGAN 的新框架，用于解释 GAN 学习到的语义面部编辑，并深入研究不同语义如何编码在 GAN 的潜在空间中。我们发现，精心训练的生成模型的潜在编码实际上学习了一个分离的表示，在线性变换后解旋，通过子空间投影来解开某些绑定属性，实现更精确的面部特征控制，并产生可控的面部属性表示的结果表明 GAN 具有生成高保真图像的能力。
发现论文，激发创造
  • InterFaceGAN：解读 GAN 学习的分解人脸表示

    本文介绍了一种名为 InterFaceGAN 的框架，通过解析状态最先进的 GAN 模型学习的分离面部表示，并研究在潜在空间中编码的面部语义属性特性，可以实现面部属性的真实操作而不必重新训练模型，并且可以更准确地控制特征操作。

    May, 2020

  • GAN 参数空间的语义图像编辑导航

    本文研究如何扩展 GAN 模型可达到的视觉效果，通过在生成器参数空间中探索方向，发现了许多可解释性方向，这是非常重要的，因为这些方向可以用于语义操作，这些操作无法通过转换潜在的向量代码实现。

    Nov, 2020

  • GAN 中潜在空间维度的利用，用于实时图像编辑

    通过在中间的潜空间使用具有空间维度的调制替换 AdaIN，我们提出了 StyleMapGAN，它使得通过编码器的嵌入比现有基于优化方法更加准确，同时保持 GAN 的属性。实验结果表明，我们的方法在各种图像操作任务中显著优于最先进的模型。

    Apr, 2021

  • 通过潜在空间映射的人脸身份分离

    本文提供了一种使用预训练网络来学习数据的解缠表示的方法，以实现最小的监督，同时展示了该方法在头部图像领域上成功将身份从其他面部属性中解缠并显示出较好的评估结果。

    May, 2020

  • GAN 中潜在语义的闭式因式分解

    该研究使用生成式对抗网络（GANs）的内部编码，通过直接分解预训练权重，提出了一种闭式因式分解算法，从而发现了语义上更丰富的维度，用于图像编辑和无监督学习。

    Jul, 2020

  • ExFaceGAN: 探索 GAN 的学习潜空间中的身份方向，用于合成身份生成

    ExFaceGAN 提出了一种在预先训练的 GAN 潜空间中解缠身份信息的框架，使得可以生成任何合成身份的多个样本，而生成图像的变异性不仅限于特定属性。更进一步，本文证明了使用 ExFaceGAN 生成的数据可以成功地用于训练面部识别模型。

    Jul, 2023

  • 基于潜在语义解缠的高分辨率人脸交换

    本文提出一种基于 GAN 模型的高分辨率人脸交换方法，通过显式地将潜在空间的语义进行分离，并通过引入基于地标的结构转换潜在方向来分离结构属性中的身份和姿态信息，进而获得丰富的生成特征。通过加入空间 - 时间约束，将这种方法进一步扩展到视频人脸交换，并在实验证明，该方法在幻觉质量和连续性方面优于现有方法。

    Mar, 2022

  • 3D GANs 和潜空间：综合调查

    本文研究生成对抗网络（GANs）中的潜在空间与三维对象的关系，探讨了几种 GAN 的变体和训练方法，旨在提高 3D GAN 的训练效果，同时提出了未来研究的方向。

    Apr, 2023

  • 图像编辑的紧凑且语义潜空间的解缠和可控

    我们提出了一种自编码器方法，通过重新组织 StyleGAN 的潜空间，使我们希望编辑的每个属性对应于新潜空间的一个轴，同时确保潜空间轴之间的相关性降到最低，以促进属性解缠，通过实验证明了我们的方法在编辑能力上超越了竞争方法，同时在保持图像身份一致性方面与原始图像具有高度的准确性，我们的自编码器结构简单明了，易于实现。

    Dec, 2023

  • 生成对抗网络的潜空间的语义分解

    本研究提出一种新的算法用于训练生成式对抗网络，并联合学习身份（例如个人）和观察（例如具体照片）的潜在代码。我们使用成对的训练模式，可生成多样的相同主题图像，并保持灯光和姿势等相关方面的特征，进而提高图像的真实感。结果表明，基于 Siamese 辨别器进行的训练能够生成逼真的与身份相符的照片。

    May, 2017