ICCVJul, 2023

用于无监督潜在语义发现的 Householder 投影器

PDF
TL;DR该文介绍了一种基于 Householder 转换的灵活通用低秩正交矩阵表示方法，用于发现 GAN 模型中潜在的语义属性，并在迁移学习时提高语义属性的准确性和可解释性。
generative adversarial networkslatent semanticshouseholder projectordisentangled interpretable semanticsfine-tuning
发现论文，激发创造
  • 深度生成图像模型的几何学及其应用

    本文基于几何学的角度探究 GAN 潜在空间的性质和图像变异机制，并提出一种基于网络结构的方法计算 GAN 图像多丽安流形的黎曼度量，这一方法可以有效地优化潜在空间的优化等应用，并便于解释变换维度。

    Jan, 2021

  • EigenGAN: 为 GANs 层级提供的特征值学习

    该论文提出了 EigenGAN，它可以从不同的生成器层无监督地挖掘可解释的和可控制的维度，以控制生成影像的语义属性。利用线性子空间的概念，EigenGAN 可以发现每一层的一组特征维度与某些可解释的变量对应，并通过这些维度进行语义属性的控制 —— 例如，语义上的高级概念如姿态和性别对应于深层的子空间，颜色等低级概念则对应于浅层的子空间。线性情况下，该算法得到的主要维度和 PCA 一样。

    Apr, 2021

  • LARGE: 基于 GAN 语义的潜变量回归

    本文提出了一种新的利用少样本或弱监督方式解决回归任务的方法，该方法利用生成式对抗网络（GANs）的语义信息表征能力，实现了将预先训练好的 GANs 转化成回归模型的操作，并证明了其在众多数据集和领域上的高效性。

    Jul, 2021

  • 生成对抗网络中的无监督投影网络

    本文提出了使用无监督学习训练投影网络，将已经训练的生成器的潜空间投影出来。我们将此方法应用于已训练的 StyleGAN，并使用我们的投影网络对图像超分辨率和聚类进行了研究。

    Sep, 2019

  • GAN 中潜在语义的闭式因式分解

    该研究使用生成式对抗网络（GANs）的内部编码，通过直接分解预训练权重，提出了一种闭式因式分解算法，从而发现了语义上更丰富的维度，用于图像编辑和无监督学习。

    Jul, 2020

  • StyleGAN 中潜在空间的分层语义正则化

    本文研究了如何通过提出的层次语义约束器（HSR）来改善 StyleGANs 生成的图像的真实性和自然性，同时提出新的 Attribute Linearity Score (ALS) 来衡量属性变量的线性度。实验表明，HSR 可以对生成器学习到的分层表征进行约束，从而提高样式编辑后的图像的自然度和真实性，并同时提高了其属性变量的线性度。

    Aug, 2022

  • 在 StyleGAN 潜空间中基于张量的情感编辑

    该研究采用基于 HOSVD 的张量模型，利用 e4e 编码器将结构化面部表情数据库嵌入到潜在空间中，发现了对应于六种原型情绪和偏航旋转的潜在空间方向，用于改变真实人脸图像的表情或偏航旋转，与其他两种方法得到的类似方向进行了比较。结果表明，操作后的图像视觉质量与最先进的技术水平相当，张量模型适用于情感和偏航编辑，并且可以稳定地改变新面部图片的情感或偏航旋转，而不会对身份或图像中的其他属性产生显着影响。

    May, 2022

  • 基于 GAN 的潜空间在人脸语义编辑中的应用解释

    本文提出了一个名为 InterFaceGAN 的新框架，用于解释 GAN 学习到的语义面部编辑，并深入研究不同语义如何编码在 GAN 的潜在空间中。我们发现，精心训练的生成模型的潜在编码实际上学习了一个分离的表示，在线性变换后解旋，通过子空间投影来解开某些绑定属性，实现更精确的面部特征控制，并产生可控的面部属性表示的结果表明 GAN 具有生成高保真图像的能力。

    Jul, 2019

  • 通过矩阵分解探索 GAN 潜在空间中的语义变化

    使用 PCA 的 GANSpace 方法学习的图片操作存在高度联系限制，因此，使用 ICA 替代 PCA 可以提高操作的质量和解缠效果。无论 GANs 的复杂性如何，他们的潜空间中都存在基本的控制方向。

    May, 2023

  • GAN 潜空间中可解释方向的无监督发现

    本文提出了一种无监督的方法来确定预先训练 GAN 模型的潜在空间中的可解释方向，从而实现对图像的控制生成，其应用包括弱监督显着性检测等。

    Feb, 2020