Feb, 2020

GAN 的 Top-k 训练方法：通过剔除劣质样本来提高 GAN 性能

PDF
TL;DR本研究针对生成对抗网络提出了一种简单有效的修正算法，即在更新生成器参数时，只对判别器评分最低的数据批次中的元素的梯度做归零处理，该方法被命名为 “top-k update”，实验证明其具有普适性，能显著提高生成器的性能，同时不增加计算成本。研究还表明，该算法运算过程中可以将样本移离其最近的模式，验证了其适用性，是一种值得推广的方法。
发现论文，激发创造
  • 一阶生成对抗网络

    通过引入理论框架，提出一种新的离散度量，使得生成对抗网能够做到更新方向为最陡下降方向，从而在图像生成和语言生成领域取得了最新的研究成果。

    Feb, 2018

  • GAN 的实例选择

    本文提出了一种改进样本质量的新方法：在模型训练之前通过实例选择来改善经验数据分布，将模型容量重定向到高密度区域，从而提高样本保真度，降低模型容量要求和显著减少训练时间。

    Jul, 2020

  • 生成对抗网络中的协同采样

    本文提出了一种协同抽样方案，使得生成器和鉴别器通过在生成器的特定层使用梯度更新来优化生成样本，通过实验验证在合成和图像数据集上，这种方法可以在定量和定性上提高生成的样本，提供了 GAN 抽样中的一种新的自由度。

    Feb, 2019

  • 在人工数据集上训练 GAN 的经验教训

    通过训练 GAN 在人工数据集上，我们发现混合多个 GANs 相比于使用更深、更宽、更复杂的单个生成器会获得更好的结果。在 CIFAR-10 数据集上，我们的方法在流行的指标（IS 和 FID）上明显优于现有技术的表现。

    Jul, 2020

  • 使用有限数据训练生成对抗网络

    本文提出一种自适应判别器增广机制，稳定有限数据中生成对抗网络的训练，无需改变损失函数或网络架构，适用于从头开始训练和调优现有 GAN 的情况，并在几个数据集上进行了实证分析，结果表明，仅使用少量的训练图像就可以获得好的结果，通常与 StyleGAN2 的结果相匹配，而使用的图像数量则少了一个数量级。此方法有望扩大 GAN 的应用领域，并发现 CIFAR-10 是一个有限数据基准，在此基础上改进了记录 FID（Fréchet Inception Distance) 由 5.59 到 2.42。

    Jun, 2020

  • 淬炼对抗网络

    通过引入一种简单的方法，使真实数据分布经过一个‘透镜’传达给辨别器，让生成器逐步揭示出更多细节特征，改善了 GAN 训练的质量、稳定性和收敛速度，对各种 GAN 架构如 DCGAN、LSGAN、WGAN-GP 都可行。

    Feb, 2018

  • 混合批次和对称判别器用于 GAN 训练

    该研究提出了一种新的方法来减少 GANs 中的模式坍塌问题，即通过引入一种通用的置换不变鉴别器架构来训练一个预测混合批的真假样本比例的不变鉴别器得分来代替传统方式评估单个样本的鉴别器。实验证明，在两个合成数据集上，这种方法有效地减少了模式坍塌，而在 CIFAR10 和 CelebA 数据集上得到了良好的定性和定量结果。

    Jun, 2018

  • 生成对抗网络评估指标的实证研究

    本文研究了生成对抗网络（GAN）的评估方法，发现基于核最大均值差（MMD）和最近邻（1-NN）等指标，可以较好地满足评估需要，同时具备区分真实样本与生成样本的性质，并探究了几种著名 GAN 模型的特性。

    Jun, 2018

  • 自我诊断 GAN：诊断生成对抗网络中低频样本

    本文提出了一种简单而有效的方法，通过诊断和强调 GAN 训练过程中未表示的训练样本，从而提高 GAN 在各种数据集上的性能，特别是在改善样本生成的质量和多样性方面对于少数派群体非常有效。

    Feb, 2021

  • PacGAN: 生成对抗网络中两个样本的优势

    本文提出了一种名为 packing 的方法来处理 GAN 中的模式崩溃现象，其主要思想是修改判别器使其决策基于同一类别的多个样本（真实或者人工生成的）。数值实验表明 packing 在实践中提供了显著的改进。

    Dec, 2017