ICCVOct, 2021

GAN 潜空间的视觉概念词汇

PDF
TL;DR本文介绍了一种新的方法，针对生成对抗网络（GAN）中的潜在空间建立无限制的基元视觉概念词汇表，该方法通过三个组件实现：(1) 基于层选择自动识别知觉显著方向；(2) 人工注释这些方向以自由形式的组成自然语言描述，以及 (3) 将这些注释分解为视觉概念词汇表，由单词标记的精简方向组成。实验表明，使用我们的方法学习的概念是可靠和可组合的 - 概念可以跨越类别、上下文和观察者进行概括，并且可以实现对图像风格和内容的精细操作。
generative adversarial networkslatent spacesvisual conceptsperceptually salient directionsimage manipulation
发现论文，激发创造
  • GAN 潜空间中可解释方向的无监督发现

    本文提出了一种无监督的方法来确定预先训练 GAN 模型的潜在空间中的可解释方向，从而实现对图像的控制生成，其应用包括弱监督显着性检测等。

    Feb, 2020

  • GAN 参数空间的语义图像编辑导航

    本文研究如何扩展 GAN 模型可达到的视觉效果，通过在生成器参数空间中探索方向，发现了许多可解释性方向，这是非常重要的，因为这些方向可以用于语义操作，这些操作无法通过转换潜在的向量代码实现。

    Nov, 2020

  • 基于 GAN 的潜空间在人脸语义编辑中的应用解释

    本文提出了一个名为 InterFaceGAN 的新框架，用于解释 GAN 学习到的语义面部编辑，并深入研究不同语义如何编码在 GAN 的潜在空间中。我们发现，精心训练的生成模型的潜在编码实际上学习了一个分离的表示，在线性变换后解旋，通过子空间投影来解开某些绑定属性，实现更精确的面部特征控制，并产生可控的面部属性表示的结果表明 GAN 具有生成高保真图像的能力。

    Jul, 2019

  • GAN 中潜在语义的闭式因式分解

    该研究使用生成式对抗网络（GANs）的内部编码，通过直接分解预训练权重，提出了一种闭式因式分解算法，从而发现了语义上更丰富的维度，用于图像编辑和无监督学习。

    Jul, 2020

  • LARGE: 基于 GAN 语义的潜变量回归

    本文提出了一种新的利用少样本或弱监督方式解决回归任务的方法，该方法利用生成式对抗网络（GANs）的语义信息表征能力，实现了将预先训练好的 GANs 转化成回归模型的操作，并证明了其在众多数据集和领域上的高效性。

    Jul, 2021

  • 通过生成对抗网络推进预先解释模型

    该论文提出了一种新颖的概念学习框架，用于增强视觉分类任务中模型的可解释性和性能，通过将非监督解释生成器附加到主分类器网络中，并利用对抗训练的方式，使模型从潜在表征中提取视觉概念并与人可解释的视觉属性隐式对齐，该方法的实验结果验证了其稳健性和产生一致的概念激活，同时研究了对抗训练协议中的扰动对分类和概念获取的影响，从而实现了构建具有任务对齐概念表征的内在可解释深度视觉模型的显著进展，为开发可信任的用于真实感知任务的人工智能提供了关键支持。

    Jan, 2024

  • 通过潜在空间分解揭示独特的概念向量

    该论文提出一种后期无监督方法，通过分解和聚类方法，自动发现深度学习模型中的概念向量，从而支持可解释性分析，可以成功鉴别与疏离数据有关的训练样本

    Jul, 2023

  • 通过连续变异因素控制生成模型

    本文提出了一种新的方法，通过找到生成模型中有意义的方向来提高生成模型潜在空间的可解释性，从而精确地控制生成图像的特定属性，如位置或比例。该方法对于搜索编码生成图像的简单变换方向（如平移，缩放或颜色变化）特别适用，并在 GAN 和变分自动编码器模型的质量和量化方面得到了证明。

    Jan, 2020

  • 深度生成图像模型的几何学及其应用

    本文基于几何学的角度探究 GAN 潜在空间的性质和图像变异机制，并提出一种基于网络结构的方法计算 GAN 图像多丽安流形的黎曼度量，这一方法可以有效地优化潜在空间的优化等应用，并便于解释变换维度。

    Jan, 2021

  • 使用相互一致性学习组合视觉概念

    本文提出了一种基于生成对抗网络的概念学习方法 ConceptGAN，该方法可用于联合从不同数据集中学习多个概念，并通过循环一致性实现数据增强以提高现实世界应用鲁棒性。实验结果表明，该方法能够生成语义上有意义的图像，并且在一次性人脸验证中取得了出色的效果。

    Nov, 2017