AAAIAug, 2022

通过流形熵估计来抑制 GAN 中的模式崩溃

PDF
TL;DR本文提出了一种新的训练管道以解决生成对抗网络（GAN）中的模式崩溃问题，通过将鉴别器推广为特征嵌入并最大化鉴别器学习到的嵌入空间的分布熵，利用两个正则化项：Deep Local Linear Embedding 和 Deep Isometric feature Mapping 来鼓励判别器学习数据中嵌入的结构信息，进而有效降低模式崩溃，提高样本质量。
generative adversarial networksmode collapsediscriminatorentropyembedding space
发现论文，激发创造
  • 邻居嵌入和梯度匹配改进生成对抗网络

    提出了两种新的技术来训练生成对抗网络（GANs），旨在减轻 GAN 中的模式崩溃问题并提高生成样本的质量，通过邻居嵌入和梯度匹配技术，可以显式保留潜在样本的局部结构，从而降低模式崩溃风险，并取得了在 1D / 2D synthetic、CIFAR-10 和 STL-10 数据集上优异的结果。

    Nov, 2018

  • VEEGAN: 使用隐式变分学习减少 GAN 中的模式崩塌

    VEEGAN 是一种新颖的自动编码器，它通过反转生成器的作用从数据到噪声的映射来解决 GAN 中的 mode collapse 问题，并针对噪声提供了新的自动编码器损失函数。它在合成和真实图像数据集中，相较于其他 GAN 变体，产生更逼真的样本并且抵制模式坍缩。

    May, 2017

  • MGGAN：使用流形引导训练解决模式崩溃

    本文提出了一种新的算法，即基于流形引导的生成式对抗网络（MGGAN），其利用现有 GAN 结构上的引导网络，使生成器能够学习数据分布的所有模式，以解决模式塌陷问题而不损失图像质量。

    Apr, 2018

  • 混合密度生成对抗网络

    本文提出了一种新型 GAN 变体 Mixutre Density GAN，通过在判别器嵌入空间中形成聚类来打破生成器的模式崩塌问题，从而发现不同的数据模式，并在生成高质量图像方面表现出色。

    Oct, 2018

  • BourGAN: 具有度量嵌入的生成网络

    本文讨论了生成对抗网络（GANs）中的模式坍塌问题，提出了一种基于度量空间的几何视角来嵌入数据，以解决自动确定潜在空间维度和构造高斯混合模型的方法，进而改进目标函数，通过理论分析支持每个方法步骤，并验证了该方法能够在真实和合成数据上产生分布于大多数模式中的样本，避免不需要的样本，性能优于现有 GAN 变体。

    May, 2018

  • 利用自适应多对抗训练克服模式崩溃

    本研究以新的数据生成过程为基础，揭示了生成对抗网络（GAN）生成器模式崩溃的驱动因素是判别器对先前样本的分类准确性的遗忘，即连续学习中的灾难性遗忘现象。为了解决此问题，我们引入了一种自适应生成额外判别模式的训练方法，可以减轻模式崩溃并提高 GAN 评估的标准度量。

    Dec, 2021

  • 基于模式寻找的生成对抗网络用于多样化图像合成

    本文介绍了在条件生成任务中通过正则化来处理 cGAN 模型中的 mode collapse 问题，提出了一种简单而有效的正则化项，最大化图像生成的潜在编码距离的比例以增加模型探索轻微模式的能力，此正则化方法可广泛应用于各种不同的条件生成任务中，不会增加训练负担或修改现有的网络结构，实验证明该方法在提高多样性方面效果显著。

    Mar, 2019

  • 使用黑塞矩阵特征值的实证分析抗击 GAN 训练中的模式坍塌

    通过分析损失面的 Hessian 特征值，我们设计了一种新的优化算法 nudged-Adam (NuGAN)，利用谱信息来克服 mode collapse，导致经验上更稳定的收敛性能。

    Dec, 2020

  • 规范化多元化

    本文研究了生成对抗网络中的问题，提出了规范化多样性的概念，并通过控制样本内对应的高维输出的归一化成对距离，使得模型能在高维空间中主动探索，从而生成多样化的数据。实验表明，该方法在无监督图像生成、条件图像生成和手部姿态估计方面取得了一致的改进。

    Apr, 2019

  • 多元敏感的条件生成对抗网络

    这篇论文提出了一种简单而高效的方法来解决条件生成式对抗网络（cGAN）中的模式崩塌问题，它通过显式地规范化生成器以产生不同的输出来控制可变因素，从而在视觉质量和多样性之间实现平衡，这种方法在图像翻译、图像修补、未来预测等多个条件生成任务中取得了出色的效果。

    Jan, 2019