ICCVApr, 2021

EigenGAN: 为 GANs 层级提供的特征值学习

PDF
TL;DR该论文提出了 EigenGAN，它可以从不同的生成器层无监督地挖掘可解释的和可控制的维度，以控制生成影像的语义属性。利用线性子空间的概念，EigenGAN 可以发现每一层的一组特征维度与某些可解释的变量对应，并通过这些维度进行语义属性的控制 —— 例如，语义上的高级概念如姿态和性别对应于深层的子空间，颜色等低级概念则对应于浅层的子空间。线性情况下，该算法得到的主要维度和 PCA 一样。
generative adversarial networkeigengansemantic attributeslinear subspaceinterpretable variations
发现论文，激发创造
  • 深度生成图像模型的几何学及其应用

    本文基于几何学的角度探究 GAN 潜在空间的性质和图像变异机制，并提出一种基于网络结构的方法计算 GAN 图像多丽安流形的黎曼度量，这一方法可以有效地优化潜在空间的优化等应用，并便于解释变换维度。

    Jan, 2021

  • GANSpace：发现可解释的 GAN 控制

    这篇论文介绍了一种简单的技术，用于分析生成对抗网络（GANs）并创建图像合成的可解释性控制，例如视角变化、衰老、照明和白天时间，通过主成分分析（PCA）在潜在空间或特征空间中应用来识别重要的潜在方向。然后，我们展示了大量可以通过沿着主要方向进行层间扰动来定义的可解释控制。此外，我们展示了 BigGAN 可以通过类似 StyleGAN 的方式用层次输入进行控制，并显示了在不同数据集上训练的各种 GAN 上的结果，并通过较早的监督方法找到了良好的定性匹配。

    Apr, 2020

  • GAN 中潜在语义的闭式因式分解

    该研究使用生成式对抗网络（GANs）的内部编码，通过直接分解预训练权重，提出了一种闭式因式分解算法，从而发现了语义上更丰富的维度，用于图像编辑和无监督学习。

    Jul, 2020

  • 图像编辑的紧凑且语义潜空间的解缠和可控

    我们提出了一种自编码器方法，通过重新组织 StyleGAN 的潜空间，使我们希望编辑的每个属性对应于新潜空间的一个轴，同时确保潜空间轴之间的相关性降到最低，以促进属性解缠，通过实验证明了我们的方法在编辑能力上超越了竞争方法，同时在保持图像身份一致性方面与原始图像具有高度的准确性，我们的自编码器结构简单明了，易于实现。

    Dec, 2023

  • 生成对抗网络中的线性语义

    本文主要探讨如何通过线性转换生成图像的特征向量来实现对生成对图像内容的语义控制，并提出了两种基于语义的图像编辑方法：语义条件采样和语义图像编辑。

    Apr, 2021

  • 基于 GAN 的潜空间在人脸语义编辑中的应用解释

    本文提出了一个名为 InterFaceGAN 的新框架，用于解释 GAN 学习到的语义面部编辑，并深入研究不同语义如何编码在 GAN 的潜在空间中。我们发现，精心训练的生成模型的潜在编码实际上学习了一个分离的表示，在线性变换后解旋，通过子空间投影来解开某些绑定属性，实现更精确的面部特征控制，并产生可控的面部属性表示的结果表明 GAN 具有生成高保真图像的能力。

    Jul, 2019

  • OpenGAN: 开放集合生成对抗网络

    本研究提出一种基于度量空间和开放集 GAN 结构的生成模型，利用度量学习模型提取语义信息来生成类别和细粒度相似的图像，支持生成超越 GAN 训练样本集的图像，数据增强实验表明该方法显著提高了分类器的性能。

    Mar, 2020

  • EGAIN: 扩展的 GAN 逆向

    基于 EGAIN 架构的 GAN 逆向模型能够重构出真实面部图像的语义结构，具有优于现有模型的重建质量。

    Dec, 2023

  • GAN 参数空间的语义图像编辑导航

    本文研究如何扩展 GAN 模型可达到的视觉效果，通过在生成器参数空间中探索方向，发现了许多可解释性方向，这是非常重要的，因为这些方向可以用于语义操作，这些操作无法通过转换潜在的向量代码实现。

    Nov, 2020

  • LARGE: 基于 GAN 语义的潜变量回归

    本文提出了一种新的利用少样本或弱监督方式解决回归任务的方法，该方法利用生成式对抗网络（GANs）的语义信息表征能力，实现了将预先训练好的 GANs 转化成回归模型的操作，并证明了其在众多数据集和领域上的高效性。

    Jul, 2021