CVPRDec, 2019

GAN 中梯度爆炸的缓解：假的可以成为真的

PDF
TL;DR提出了一种新的生成对抗网络训练方法 Fake-As-Real GAN（FARGAN），该方法通过将某些虚假样本在训练过程中视为真实样本，从而减少生成器在梯度爆炸区域接收的梯度值，理论上证明了梯度爆炸可以通过对真假样本的区分来减轻，实验证明该方法可以有效地解决 GAN 中的模式崩溃问题，并提高生成样本质量。
generative adversarial networksmode collapsefake-as-realgradient explodingfargan
发现论文，激发创造
  • 淬炼对抗网络

    通过引入一种简单的方法，使真实数据分布经过一个‘透镜’传达给辨别器，让生成器逐步揭示出更多细节特征，改善了 GAN 训练的质量、稳定性和收敛速度，对各种 GAN 架构如 DCGAN、LSGAN、WGAN-GP 都可行。

    Feb, 2018

  • 利用自适应多对抗训练克服模式崩溃

    本研究以新的数据生成过程为基础，揭示了生成对抗网络（GAN）生成器模式崩溃的驱动因素是判别器对先前样本的分类准确性的遗忘，即连续学习中的灾难性遗忘现象。为了解决此问题，我们引入了一种自适应生成额外判别模式的训练方法，可以减轻模式崩溃并提高 GAN 评估的标准度量。

    Dec, 2021

  • 虚构 GAN：使用历史模型训练 GANs

    通过博弈论视角，使用历史混合模型对深度神经网络进行训练的 Fictitious GAN 方法可以有效地解决收敛问题，从而使生成器的输出分布在渐进意义下收敛于数据样本的分布。

    Mar, 2018

  • VEEGAN: 使用隐式变分学习减少 GAN 中的模式崩塌

    VEEGAN 是一种新颖的自动编码器，它通过反转生成器的作用从数据到噪声的映射来解决 GAN 中的 mode collapse 问题，并针对噪声提供了新的自动编码器损失函数。它在合成和真实图像数据集中，相较于其他 GAN 变体，产生更逼真的样本并且抵制模式坍缩。

    May, 2017

  • 生成对抗网络的收敛性和稳定性

    本次论文研究了使用后悔最小化的方式来训练 GAN，提出了在非凸偏好游戏中存在不良局部均衡的假设，并提出了 DRAGAN 梯度惩罚方案以避免产生收缩现象，这样可以实现更快速的训练，更少的模式崩溃以及更好的建模性能。

    May, 2017

  • PacGAN: 生成对抗网络中两个样本的优势

    本文提出了一种名为 packing 的方法来处理 GAN 中的模式崩溃现象，其主要思想是修改判别器使其决策基于同一类别的多个样本（真实或者人工生成的）。数值实验表明 packing 在实践中提供了显著的改进。

    Dec, 2017

  • 真实还是虚构，这是问题

    通过将真实性作为随机变量来估计，我们提出了一种新型 GAN（RealnessGAN），并将其与多个基线对比，在合成和真实数据集上产生实质性的生成器引导改善和提供关于对抗学习的深入见解。

    Feb, 2020

  • 逐步增量式 GAN

    通过新的正则化技术 - 逐步增强生成对抗网络（PA-GAN），逐步增加鉴别器的输入或特征空间的任务难度，从而使生成器能够不断地学习，这保留了原始 GAN 目标，不损害鉴别器的最优性并鼓励生成器和鉴别器之间健康的竞争，从而提高了 FID 得分的有效性。

    Jan, 2019

  • AdaGAN：提升生成式模型

    该研究使用增量算法 AdaGAN 训练 Generative Adversarial Networks（GAN）来解决 GAN 模型中出现的 missing modes 问题，并且证明了当每一步是最优的时候，这种增量方法可以在有限步数内收敛到真实分布，否则以指数速度收敛。

    Jan, 2017

  • 稳定生成对抗网络：综述

    本文综述了文献中可找到的 GAN 训练稳定方法，讨论了每种方法的优缺点并进行比较总结，最后提出了未解决问题的讨论。

    Sep, 2019