ICLRMay, 2023

通过矩阵分解探索 GAN 潜在空间中的语义变化

PDF
TL;DR使用 PCA 的 GANSpace 方法学习的图片操作存在高度联系限制，因此，使用 ICA 替代 PCA 可以提高操作的质量和解缠效果。无论 GANs 的复杂性如何，他们的潜空间中都存在基本的控制方向。
ganspcaimage manipulationsentanglementica
发现论文，激发创造
  • GANSpace：发现可解释的 GAN 控制

    这篇论文介绍了一种简单的技术，用于分析生成对抗网络（GANs）并创建图像合成的可解释性控制，例如视角变化、衰老、照明和白天时间，通过主成分分析（PCA）在潜在空间或特征空间中应用来识别重要的潜在方向。然后，我们展示了大量可以通过沿着主要方向进行层间扰动来定义的可解释控制。此外，我们展示了 BigGAN 可以通过类似 StyleGAN 的方式用层次输入进行控制，并显示了在不同数据集上训练的各种 GAN 上的结果，并通过较早的监督方法找到了良好的定性匹配。

    Apr, 2020

  • 通过连续变异因素控制生成模型

    本文提出了一种新的方法，通过找到生成模型中有意义的方向来提高生成模型潜在空间的可解释性，从而精确地控制生成图像的特定属性，如位置或比例。该方法对于搜索编码生成图像的简单变换方向（如平移，缩放或颜色变化）特别适用，并在 GAN 和变分自动编码器模型的质量和量化方面得到了证明。

    Jan, 2020

  • GAN 中的低秩子空间

    使用低秩矩阵分解的方法可以更好地控制 GAN 生成的图像特征，同时局部的图像编辑控制可以通过该方法实现。

    Jun, 2021

  • GAN 中潜在语义的闭式因式分解

    该研究使用生成式对抗网络（GANs）的内部编码，通过直接分解预训练权重，提出了一种闭式因式分解算法，从而发现了语义上更丰富的维度，用于图像编辑和无监督学习。

    Jul, 2020

  • GAN 参数空间的语义图像编辑导航

    本文研究如何扩展 GAN 模型可达到的视觉效果，通过在生成器参数空间中探索方向，发现了许多可解释性方向，这是非常重要的，因为这些方向可以用于语义操作，这些操作无法通过转换潜在的向量代码实现。

    Nov, 2020

  • 基于 GAN 的潜空间在人脸语义编辑中的应用解释

    本文提出了一个名为 InterFaceGAN 的新框架，用于解释 GAN 学习到的语义面部编辑，并深入研究不同语义如何编码在 GAN 的潜在空间中。我们发现，精心训练的生成模型的潜在编码实际上学习了一个分离的表示，在线性变换后解旋，通过子空间投影来解开某些绑定属性，实现更精确的面部特征控制，并产生可控的面部属性表示的结果表明 GAN 具有生成高保真图像的能力。

    Jul, 2019

  • GAN 中潜在空间维度的利用，用于实时图像编辑

    通过在中间的潜空间使用具有空间维度的调制替换 AdaIN，我们提出了 StyleMapGAN，它使得通过编码器的嵌入比现有基于优化方法更加准确，同时保持 GAN 的属性。实验结果表明，我们的方法在各种图像操作任务中显著优于最先进的模型。

    Apr, 2021

  • 深度生成图像模型的几何学及其应用

    本文基于几何学的角度探究 GAN 潜在空间的性质和图像变异机制，并提出一种基于网络结构的方法计算 GAN 图像多丽安流形的黎曼度量，这一方法可以有效地优化潜在空间的优化等应用，并便于解释变换维度。

    Jan, 2021

  • 利用高斯化的潜空间改善 StyleGAN 中的反演和生成多样性

    本文研究了生成式对抗网络中的潜在向量空间中数据分布模型，提出了一个简单的高斯先验模型，用于规范图像向潜在空间的映射，这样生成的图像更加平滑和稳定，同时维持多样性和减少生成图像中的伪像。

    Sep, 2020

  • 图像编辑的紧凑且语义潜空间的解缠和可控

    我们提出了一种自编码器方法，通过重新组织 StyleGAN 的潜空间，使我们希望编辑的每个属性对应于新潜空间的一个轴，同时确保潜空间轴之间的相关性降到最低，以促进属性解缠，通过实验证明了我们的方法在编辑能力上超越了竞争方法，同时在保持图像身份一致性方面与原始图像具有高度的准确性，我们的自编码器结构简单明了，易于实现。

    Dec, 2023