Feb, 2020

GAN 潜空间中可解释方向的无监督发现

PDF
TL;DR本文提出了一种无监督的方法来确定预先训练 GAN 模型的潜在空间中的可解释方向，从而实现对图像的控制生成，其应用包括弱监督显着性检测等。
gan modelslatent spacesinterpretable directionsunsupervised methodweakly-supervised saliency detection
发现论文，激发创造
  • LatentCLR：一种用于无监督发现可解释方向的对比学习方法

    本研究提出了基于对比学习的方法，以自我监督的方式在预先训练的生成对抗网络的潜在空间中发现语义方向，并发现了与现有最先进方法可比较的有意义的语义维度。

    Apr, 2021

  • 预训练扩散模型中不可监督地发现可解释的 h - 空间方向

    我们提出了第一个无监督的基于学习的方法，用于识别预训练扩散模型的可解释方向。通过联合优化移位控制模块和再构造器，模型可以自主发现解耦和可解释的方向。我们还提出了一种基于梯度检查点技术的通用 VRAM 高效训练算法来解决 GPU VRAM 存储问题。与现有的扩散模型相关工作相比，我们的方法具有全局化和可扩展性的优势，不需要任何复杂的额外步骤，并且广泛实验证明了我们方法的有效性。

    Oct, 2023

  • GAN 参数空间的语义图像编辑导航

    本文研究如何扩展 GAN 模型可达到的视觉效果，通过在生成器参数空间中探索方向，发现了许多可解释性方向，这是非常重要的，因为这些方向可以用于语义操作，这些操作无法通过转换潜在的向量代码实现。

    Nov, 2020

  • GAN 潜空间的视觉概念词汇

    本文介绍了一种新的方法，针对生成对抗网络（GAN）中的潜在空间建立无限制的基元视觉概念词汇表，该方法通过三个组件实现：(1) 基于层选择自动识别知觉显著方向；(2) 人工注释这些方向以自由形式的组成自然语言描述，以及 (3) 将这些注释分解为视觉概念词汇表，由单词标记的精简方向组成。实验表明，使用我们的方法学习的概念是可靠和可组合的 - 概念可以跨越类别、上下文和观察者进行概括，并且可以实现对图像风格和内容的精细操作。

    Oct, 2021

  • 深度生成图像模型的几何学及其应用

    本文基于几何学的角度探究 GAN 潜在空间的性质和图像变异机制，并提出一种基于网络结构的方法计算 GAN 图像多丽安流形的黎曼度量，这一方法可以有效地优化潜在空间的优化等应用，并便于解释变换维度。

    Jan, 2021

  • GANSpace：发现可解释的 GAN 控制

    这篇论文介绍了一种简单的技术，用于分析生成对抗网络（GANs）并创建图像合成的可解释性控制，例如视角变化、衰老、照明和白天时间，通过主成分分析（PCA）在潜在空间或特征空间中应用来识别重要的潜在方向。然后，我们展示了大量可以通过沿着主要方向进行层间扰动来定义的可解释控制。此外，我们展示了 BigGAN 可以通过类似 StyleGAN 的方式用层次输入进行控制，并显示了在不同数据集上训练的各种 GAN 上的结果，并通过较早的监督方法找到了良好的定性匹配。

    Apr, 2020

  • LARGE: 基于 GAN 语义的潜变量回归

    本文提出了一种新的利用少样本或弱监督方式解决回归任务的方法，该方法利用生成式对抗网络（GANs）的语义信息表征能力，实现了将预先训练好的 GANs 转化成回归模型的操作，并证明了其在众多数据集和领域上的高效性。

    Jul, 2021

  • 探索基于梯度的 GAN 多方向控制

    该论文提出了一种基于梯度信息的新方法，探索生成对抗网络 (latent space) 中的非线性控制，实现了多方向控制和有效解缠，这使得 GANs 的可控生成问题得到了解决。

    Sep, 2022

  • 不要逃离流形：在 GAN 的潜空间中发现局部坐标

    本文提出一种基于本地几何的无监督方法，称为 Local Basis，用于在 GANs 的中间潜空间中查找语义分解方向，结果显示本地主要变化与语义分解相对应。

    Jun, 2021

  • 在每个深度生成模型中找到一个无监督的图像分割器

    该论文提出了一种使用预训练的 GANs 自动提取前景 - 背景特征进行图像分割的方法，并在多个数据集上与现有方法进行了比较，证明其不需要人类监督就能够以良好的效果进行图像分割。

    May, 2021