GAN 内部模式崩溃的黑盒诊断和校准:一项试点研究
本文提出一种可视化 GAN 模式折叠问题的方法,通过应用语义分割网络来比较生成图片中分割对象的分布与训练集中目标分布的差异,进而发现被 GAN 遗漏的对象类别,并给出相应的可视化结果。同时,采用更简单的 GAN layer 反演方法来检测多个数据集上 GAN 的典型失败情况。
Oct, 2019
本研究以新的数据生成过程为基础,揭示了生成对抗网络(GAN)生成器模式崩溃的驱动因素是判别器对先前样本的分类准确性的遗忘,即连续学习中的灾难性遗忘现象。为了解决此问题,我们引入了一种自适应生成额外判别模式的训练方法,可以减轻模式崩溃并提高 GAN 评估的标准度量。
Dec, 2021
通过研究不同类型的模式崩溃问题和它们对合成 X 射线图像的多样性的影响,本文探讨了将自适应输入图像归一化与深度卷积 GAN 和辅助分类 GAN 相结合以减轻模式崩溃问题的好处。通过将合成图像用于数据增强和训练视觉转换模型,使用准确度、召回率和精确度等指标评估模型的分类性能。结果表明,使用自适应输入图像归一化的 DCGAN 和 ACGAN 优于使用未归一化的 X 射线图像的 DCGAN 和 ACGAN,这体现在更好的多样性指标和分类指标上。
Sep, 2023
本文提出了一种名为 packing 的方法来处理 GAN 中的模式崩溃现象,其主要思想是修改判别器使其决策基于同一类别的多个样本(真实或者人工生成的)。数值实验表明 packing 在实践中提供了显著的改进。
Dec, 2017
本文提出了一种新的算法,即基于流形引导的生成式对抗网络(MGGAN),其利用现有 GAN 结构上的引导网络,使生成器能够学习数据分布的所有模式,以解决模式塌陷问题而不损失图像质量。
Apr, 2018
这篇论文提出了一种简单而高效的方法来解决条件生成式对抗网络(cGAN)中的模式崩塌问题,它通过显式地规范化生成器以产生不同的输出来控制可变因素,从而在视觉质量和多样性之间实现平衡,这种方法在图像翻译、图像修补、未来预测等多个条件生成任务中取得了出色的效果。
Jan, 2019
本文介绍了在条件生成任务中通过正则化来处理 cGAN 模型中的 mode collapse 问题,提出了一种简单而有效的正则化项,最大化图像生成的潜在编码距离的比例以增加模型探索轻微模式的能力,此正则化方法可广泛应用于各种不同的条件生成任务中,不会增加训练负担或修改现有的网络结构,实验证明该方法在提高多样性方面效果显著。
Mar, 2019
本文研究发现生成对抗网络 (GAN) 训练是一个连续学习问题,在所谓的任务序列中改变模型分布的不匹配程度决定了遗忘的程度,而遗忘与模式崩溃相互关联,使得 GAN 训练不收敛。作者进一步研究了 GAN 的不同变体中鉴别器输出的地形,并且探索了在 GAN 中防止遗忘的方法。
Jul, 2018
VEEGAN 是一种新颖的自动编码器,它通过反转生成器的作用从数据到噪声的映射来解决 GAN 中的 mode collapse 问题,并针对噪声提供了新的自动编码器损失函数。它在合成和真实图像数据集中,相较于其他 GAN 变体,产生更逼真的样本并且抵制模式坍缩。
May, 2017