CVPRJul, 2020

GAN 中潜在语义的闭式因式分解

PDF
TL;DR该研究使用生成式对抗网络（GANs）的内部编码，通过直接分解预训练权重，提出了一种闭式因式分解算法，从而发现了语义上更丰富的维度，用于图像编辑和无监督学习。
generative adversarial networkslatent semantic discoveryimage editingunsupervised learningfactorization algorithm
发现论文，激发创造
  • LARGE: 基于 GAN 语义的潜变量回归

    本文提出了一种新的利用少样本或弱监督方式解决回归任务的方法，该方法利用生成式对抗网络（GANs）的语义信息表征能力，实现了将预先训练好的 GANs 转化成回归模型的操作，并证明了其在众多数据集和领域上的高效性。

    Jul, 2021

  • 基于 GAN 的潜空间在人脸语义编辑中的应用解释

    本文提出了一个名为 InterFaceGAN 的新框架，用于解释 GAN 学习到的语义面部编辑，并深入研究不同语义如何编码在 GAN 的潜在空间中。我们发现，精心训练的生成模型的潜在编码实际上学习了一个分离的表示，在线性变换后解旋，通过子空间投影来解开某些绑定属性，实现更精确的面部特征控制，并产生可控的面部属性表示的结果表明 GAN 具有生成高保真图像的能力。

    Jul, 2019

  • 生成对抗网络中的线性语义

    本文主要探讨如何通过线性转换生成图像的特征向量来实现对生成对图像内容的语义控制，并提出了两种基于语义的图像编辑方法：语义条件采样和语义图像编辑。

    Apr, 2021

  • 通过连续变异因素控制生成模型

    本文提出了一种新的方法，通过找到生成模型中有意义的方向来提高生成模型潜在空间的可解释性，从而精确地控制生成图像的特定属性，如位置或比例。该方法对于搜索编码生成图像的简单变换方向（如平移，缩放或颜色变化）特别适用，并在 GAN 和变分自动编码器模型的质量和量化方面得到了证明。

    Jan, 2020

  • GAN 潜空间的视觉概念词汇

    本文介绍了一种新的方法，针对生成对抗网络（GAN）中的潜在空间建立无限制的基元视觉概念词汇表，该方法通过三个组件实现：(1) 基于层选择自动识别知觉显著方向；(2) 人工注释这些方向以自由形式的组成自然语言描述，以及 (3) 将这些注释分解为视觉概念词汇表，由单词标记的精简方向组成。实验表明，使用我们的方法学习的概念是可靠和可组合的 - 概念可以跨越类别、上下文和观察者进行概括，并且可以实现对图像风格和内容的精细操作。

    Oct, 2021

  • 深度生成图像模型的几何学及其应用

    本文基于几何学的角度探究 GAN 潜在空间的性质和图像变异机制，并提出一种基于网络结构的方法计算 GAN 图像多丽安流形的黎曼度量，这一方法可以有效地优化潜在空间的优化等应用，并便于解释变换维度。

    Jan, 2021

  • 通过矩阵分解探索 GAN 潜在空间中的语义变化

    使用 PCA 的 GANSpace 方法学习的图片操作存在高度联系限制，因此，使用 ICA 替代 PCA 可以提高操作的质量和解缠效果。无论 GANs 的复杂性如何，他们的潜空间中都存在基本的控制方向。

    May, 2023

  • GAN 中的低秩子空间

    使用低秩矩阵分解的方法可以更好地控制 GAN 生成的图像特征，同时局部的图像编辑控制可以通过该方法实现。

    Jun, 2021

  • GAN 参数空间的语义图像编辑导航

    本文研究如何扩展 GAN 模型可达到的视觉效果，通过在生成器参数空间中探索方向，发现了许多可解释性方向，这是非常重要的，因为这些方向可以用于语义操作，这些操作无法通过转换潜在的向量代码实现。

    Nov, 2020

  • 3D GANs 和潜空间：综合调查

    本文研究生成对抗网络（GANs）中的潜在空间与三维对象的关系，探讨了几种 GAN 的变体和训练方法，旨在提高 3D GAN 的训练效果，同时提出了未来研究的方向。

    Apr, 2023