MGGAN:使用流形引导训练解决模式崩溃
本研究以新的数据生成过程为基础,揭示了生成对抗网络(GAN)生成器模式崩溃的驱动因素是判别器对先前样本的分类准确性的遗忘,即连续学习中的灾难性遗忘现象。为了解决此问题,我们引入了一种自适应生成额外判别模式的训练方法,可以减轻模式崩溃并提高 GAN 评估的标准度量。
Dec, 2021
VEEGAN 是一种新颖的自动编码器,它通过反转生成器的作用从数据到噪声的映射来解决 GAN 中的 mode collapse 问题,并针对噪声提供了新的自动编码器损失函数。它在合成和真实图像数据集中,相较于其他 GAN 变体,产生更逼真的样本并且抵制模式坍缩。
May, 2017
本文提出一种可视化 GAN 模式折叠问题的方法,通过应用语义分割网络来比较生成图片中分割对象的分布与训练集中目标分布的差异,进而发现被 GAN 遗漏的对象类别,并给出相应的可视化结果。同时,采用更简单的 GAN layer 反演方法来检测多个数据集上 GAN 的典型失败情况。
Oct, 2019
本文介绍了在条件生成任务中通过正则化来处理 cGAN 模型中的 mode collapse 问题,提出了一种简单而有效的正则化项,最大化图像生成的潜在编码距离的比例以增加模型探索轻微模式的能力,此正则化方法可广泛应用于各种不同的条件生成任务中,不会增加训练负担或修改现有的网络结构,实验证明该方法在提高多样性方面效果显著。
Mar, 2019
本文提出了一种名为 Mixture GAN (MGAN)的新方法,该方法采用多个生成器的混合训练,旨在克服 mode collapsing 问题,通过理论分析得出结论,证明了在平衡状态下,多个生成器的分布和数据分布之间的 Jensen-Shannon 差异最小,生成器之间的 Jensen-Shannon 差异最大,从而有效地避免了 mode collapsing 问题,能够在多项实验中取得明显的优势。
Aug, 2017
本文研究了 GAN 模型难以正确模拟支持在不连通流形上的分布的问题,并提出了使用多个生成器来解决这个问题的方法,并提出了一种新的方法来学习先验分布,并在不需要人工干预的情况下推断所需的生成器数量,以使模型可以学习支持在不连通流形上的分布。本文的贡献包括证明单一生成器 GAN 模型难以正确模拟支持在不连通流形上的分布以及提出了解决这个问题的方法,并通过实验来验证所提出的方法的有效性。
Jun, 2018
本文探讨了生成对抗网络(GANs)中的模式崩溃问题,提出了一种基于采样的统计工具来诊断和校准 GANs 中的内部模式崩溃。研究表明,这种状态仍然很普遍,并且在黑匣子设置中可以诊断和校准。
Jul, 2021
本文提出了一个基于 GAN 的通用框架来解决当前模型中的 mode-collapse 问题,并将标准 GAN 目标更改为最大化对数似然的变分下限,同时最小化数据和模型分布之间的 Jensen-Shanon 散度。我们将我们的模型与文本生成任务的实验相结合,表明它可以生成高多样性的真实文本。
Apr, 2021
本文提出了一种名为 packing 的方法来处理 GAN 中的模式崩溃现象,其主要思想是修改判别器使其决策基于同一类别的多个样本(真实或者人工生成的)。数值实验表明 packing 在实践中提供了显著的改进。
Dec, 2017
通过分析损失面的 Hessian 特征值,我们设计了一种新的优化算法 nudged-Adam (NuGAN),利用谱信息来克服 mode collapse,导致经验上更稳定的收敛性能。
Dec, 2020