GANSpace：发现可解释的 GAN 控制

Apr, 2020

GANSpace: Discovering Interpretable GAN Controls

Erik Härkönen, Aaron Hertzmann, Jaakko Lehtinen, Sylvain Paris

TL;DR这篇论文介绍了一种简单的技术，用于分析生成对抗网络（GANs）并创建图像合成的可解释性控制，例如视角变化、衰老、照明和白天时间，通过主成分分析（PCA）在潜在空间或特征空间中应用来识别重要的潜在方向。然后，我们展示了大量可以通过沿着主要方向进行层间扰动来定义的可解释控制。此外，我们展示了 BigGAN 可以通过类似 StyleGAN 的方式用层次输入进行控制，并显示了在不同数据集上训练的各种 GAN 上的结果，并通过较早的监督方法找到了良好的定性匹配。

Abstract

This paper describes a simple technique to analyze Generative Adversarial Networks (GANs) and create interpretable controls for image synthesis, such as change of viewpoint, aging, lighting, and time of day. We i

generative adversarial networks interpretable controls latent directions principal components analysis image synthesis

发现论文，激发创造

探索基于梯度的 GAN 多方向控制

该论文提出了一种基于梯度信息的新方法，探索生成对抗网络 (latent space) 中的非线性控制，实现了多方向控制和有效解缠，这使得 GANs 的可控生成问题得到了解决。

Sep, 2022

通过矩阵分解探索 GAN 潜在空间中的语义变化

使用 PCA 的 GANSpace 方法学习的图片操作存在高度联系限制，因此，使用 ICA 替代 PCA 可以提高操作的质量和解缠效果。无论 GANs 的复杂性如何，他们的潜空间中都存在基本的控制方向。

May, 2023

GAN 参数空间的语义图像编辑导航

本文研究如何扩展 GAN 模型可达到的视觉效果，通过在生成器参数空间中探索方向，发现了许多可解释性方向，这是非常重要的，因为这些方向可以用于语义操作，这些操作无法通过转换潜在的向量代码实现。

Nov, 2020

GAN 潜空间中可解释方向的无监督发现

本文提出了一种无监督的方法来确定预先训练 GAN 模型的潜在空间中的可解释方向，从而实现对图像的控制生成，其应用包括弱监督显着性检测等。

Feb, 2020

GAN-Control: 明确可控的 GANs

我们提出了一个具有明确控制 GAN 生成的图像的框架，借助于对抗性训练（GANs）、明确控制的潜在空间以及对人类的符号解释模型进行了对生成图像的控制，可扩展到人类脸谱以外的领域，实现了身份、年龄、姿态、表情、头发色彩和光照方面的控制，并且在画像和狗图像生成的领域中都展示了控制能力，同时表现出优良的定量和定性性能。

Jan, 2021

通过连续变异因素控制生成模型

本文提出了一种新的方法，通过找到生成模型中有意义的方向来提高生成模型潜在空间的可解释性，从而精确地控制生成图像的特定属性，如位置或比例。该方法对于搜索编码生成图像的简单变换方向（如平移，缩放或颜色变化）特别适用，并在 GAN 和变分自动编码器模型的质量和量化方面得到了证明。

Jan, 2020

深度生成图像模型的几何学及其应用

本文基于几何学的角度探究 GAN 潜在空间的性质和图像变异机制，并提出一种基于网络结构的方法计算 GAN 图像多丽安流形的黎曼度量，这一方法可以有效地优化潜在空间的优化等应用，并便于解释变换维度。

Jan, 2021

哪种风格让我更有魅力？基于可解释控制发现的 StyleGAN 因果解释

本文在使用 StyleGAN2 生成人脸的场景下提出了一种新方法，通过利用现有人脸分析模型（例如人脸解析器和人脸关键点检测器），对潜在子空间的语义进行解缠，并且提供了在此过程中的丰富潜在空间控制，同时提出了一种新的透视法来解释 CNN 分类器的行为，能够帮助揭示分类器所学习到的语义是否合理。

Jan, 2022

通过潜空间导航的可控 GAN 用于图像编辑

本研究提出了一种新的控制图像属性的编辑方法，通过学习多种属性变换和应用内容损失和对抗损失来实现单一和多属性的编辑，并保留图像身份和真实感。此外，提出了客观评价标准以衡量模型性能，结果表明该模型在目标图像操作方面达到了最先进水平。

Feb, 2021

EigenGAN: 为 GANs 层级提供的特征值学习

该论文提出了 EigenGAN，它可以从不同的生成器层无监督地挖掘可解释的和可控制的维度，以控制生成影像的语义属性。利用线性子空间的概念，EigenGAN 可以发现每一层的一组特征维度与某些可解释的变量对应，并通过这些维度进行语义属性的控制 —— 例如，语义上的高级概念如姿态和性别对应于深层的子空间，颜色等低级概念则对应于浅层的子空间。线性情况下，该算法得到的主要维度和 PCA 一样。

Apr, 2021