Sep, 2023

卫星图像生成对抗网络潜空间解释的局部保持方向

PDF
TL;DR本篇论文介绍了一种基于小波生成对抗网络（GANs）的局部感知方法，可以捕捉卫星图像中具有大尺度和光谱变异性的特征，并通过保留局部性来恢复可解释的高级语义概念方向，用于卫星图像的引导合成和数据增强。使用定量和定性示例证明了该方法在数据合成和卫星场景分类的数据增强中的优势。
locality-aware methodlatent spacewavelet-based generative adversarial networkssatellite imagerydata synthesis
发现论文，激发创造
  • GAN 潜空间中可解释方向的无监督发现

    本文提出了一种无监督的方法来确定预先训练 GAN 模型的潜在空间中的可解释方向，从而实现对图像的控制生成，其应用包括弱监督显着性检测等。

    Feb, 2020

  • 不要逃离流形：在 GAN 的潜空间中发现局部坐标

    本文提出一种基于本地几何的无监督方法，称为 Local Basis，用于在 GANs 的中间潜空间中查找语义分解方向，结果显示本地主要变化与语义分解相对应。

    Jun, 2021

  • GANSpace：发现可解释的 GAN 控制

    这篇论文介绍了一种简单的技术，用于分析生成对抗网络（GANs）并创建图像合成的可解释性控制，例如视角变化、衰老、照明和白天时间，通过主成分分析（PCA）在潜在空间或特征空间中应用来识别重要的潜在方向。然后，我们展示了大量可以通过沿着主要方向进行层间扰动来定义的可解释控制。此外，我们展示了 BigGAN 可以通过类似 StyleGAN 的方式用层次输入进行控制，并显示了在不同数据集上训练的各种 GAN 上的结果，并通过较早的监督方法找到了良好的定性匹配。

    Apr, 2020

  • 深度生成图像模型的几何学及其应用

    本文基于几何学的角度探究 GAN 潜在空间的性质和图像变异机制，并提出一种基于网络结构的方法计算 GAN 图像多丽安流形的黎曼度量，这一方法可以有效地优化潜在空间的优化等应用，并便于解释变换维度。

    Jan, 2021

  • GAN 潜空间的视觉概念词汇

    本文介绍了一种新的方法，针对生成对抗网络（GAN）中的潜在空间建立无限制的基元视觉概念词汇表，该方法通过三个组件实现：(1) 基于层选择自动识别知觉显著方向；(2) 人工注释这些方向以自由形式的组成自然语言描述，以及 (3) 将这些注释分解为视觉概念词汇表，由单词标记的精简方向组成。实验表明，使用我们的方法学习的概念是可靠和可组合的 - 概念可以跨越类别、上下文和观察者进行概括，并且可以实现对图像风格和内容的精细操作。

    Oct, 2021

  • S2A: 多光谱波段合成的空间 - 频谱 Laplacian 注意力 Wasserstein GAN

    本研究介绍了一种使用对抗学习合成高分辨率多光谱卫星影像的方法，其中通过注意力机制规范能带合成过程，进一步使用带渐变惩罚规范对抗性学习的训练和稳定性，提出了一种评估鉴别器深度特征的新成本函数，通过对 LISS-3，LISS-4 和 WorldView-2 数据集上的实验发现，使用该方法可以获得比目前现有技术更好的结果，并提供简单易用、丰富多样的高质量成像数据产品。

    Apr, 2020

  • LARGE: 基于 GAN 语义的潜变量回归

    本文提出了一种新的利用少样本或弱监督方式解决回归任务的方法，该方法利用生成式对抗网络（GANs）的语义信息表征能力，实现了将预先训练好的 GANs 转化成回归模型的操作，并证明了其在众多数据集和领域上的高效性。

    Jul, 2021

  • GAN 参数空间的语义图像编辑导航

    本文研究如何扩展 GAN 模型可达到的视觉效果，通过在生成器参数空间中探索方向，发现了许多可解释性方向，这是非常重要的，因为这些方向可以用于语义操作，这些操作无法通过转换潜在的向量代码实现。

    Nov, 2020

  • 通过矩阵分解探索 GAN 潜在空间中的语义变化

    使用 PCA 的 GANSpace 方法学习的图片操作存在高度联系限制，因此，使用 ICA 替代 PCA 可以提高操作的质量和解缠效果。无论 GANs 的复杂性如何，他们的潜空间中都存在基本的控制方向。

    May, 2023

  • GAN 中潜在空间维度的利用，用于实时图像编辑

    通过在中间的潜空间使用具有空间维度的调制替换 AdaIN，我们提出了 StyleMapGAN，它使得通过编码器的嵌入比现有基于优化方法更加准确，同时保持 GAN 的属性。实验结果表明，我们的方法在各种图像操作任务中显著优于最先进的模型。

    Apr, 2021