自监督 GAN 抵御遗忘
利用对抗性训练和自监督技巧,通过任务的表示学习促进判别器学习有意义的特征表示的全无监督学习方法产生高质量的图像。在相同的条件下,自监督生成对抗网络的表现与有标记数据的生成网络相似。同时,我们还演示了该方法可扩展到一个无条件的图像集中,以实现 FID 为 23.4.
Nov, 2018
提出了一种名为 MemoryGAN 的全新 GAN 模型,该模型使用可学习的记忆网络来解决无监督 GAN 训练过程中存在的结构不连续和过度遗忘问题,并在多个数据集上进行了评估,证明其能够产生高度逼真的图像,实现了 CIFAR10 数据集上无监督 GAN 模型的最先进 Inception 得分。
Mar, 2018
本文提出了一种自洽学习的框架,利用生成对抗网络的生成模型和判别模型的博弈优化,使两者协同训练,避免了 GAN 训练不稳定的问题,并在句子语义匹配问题上实现了较好的性能。
Mar, 2023
本文研究了生成模型中的终身学习问题,提出了一种使用知识蒸馏的解决方案,可以在保持之前任务能力不变的同时完成新的任务,该方法适用于不同的有条件图像生成设置。
Jul, 2019
通过引入替代机制和定义虚假标签,本研究提出了一种级联取消学习方法,以在生成对抗网络中实现项目取消学习和类别取消学习,通过对 MNIST 和 CIFAR-10 数据集的综合评估,实验证明该方法在项目和类别取消学习效率方面显著提高,与从头开始重新训练相比,所需时间分别减少了最多 185 倍和 284 倍,值得注意的是,虽然模型的性能在取消学习后有轻微下降,但在处理少量图像(例如 64 张)时,该下降是可以忽略的,并且对分类等下游任务没有不良影响。
Aug, 2023
从在线持续学习的角度出发,提出了一种新颖的 GAN 方法,通过将生成的数据视为流来训练鉴别器模型,并自动检测其阻塞并动态遮罩其特征,使其能够适应临时变化的生成数据分布。实验结果表明,该方法优于现有的最先进方法。
Jun, 2023
提出了一种新型的、基于增强现实的自监督辨别器,并利用预测参数作为判别阈值,减弱了旧行的数据不变性,显著提升了数据效率,实验结果优于其他 GANs
May, 2022
在生成对抗网络(GAN)框架中,通过额外的结构建模责任,我们提出了使鉴别器能够进行自监督表示学习的目标。结合在网络上施加的高效光滑正则化器,这些目标指导鉴别器学习提取信息性表示,同时保持能够从领域中进行采样的生成器。具体而言,我们的目标鼓励鉴别器在两个粒度级别上对特征进行结构化处理:在粗粒度上对齐分布特征,如均值和方差,在细粒度上将特征分组为本地聚类。作为 GAN 框架中的特征学习器,我们的自监督系统不再依赖于普遍存在于对比表示学习方法中的手工数据增强方案。在 CIFAR-10/100 和 ImageNet 子集上的实验表明,配备我们的自监督目标的 GAN 能够产生在表示学习方面与对比学习方法训练的网络竞争的鉴别器。
Sep, 2023
本文研究发现生成对抗网络 (GAN) 训练是一个连续学习问题,在所谓的任务序列中改变模型分布的不匹配程度决定了遗忘的程度,而遗忘与模式崩溃相互关联,使得 GAN 训练不收敛。作者进一步研究了 GAN 的不同变体中鉴别器输出的地形,并且探索了在 GAN 中防止遗忘的方法。
Jul, 2018
本研究探讨了一种名为 SGAN 的备选训练方法,通过该方法,多个对抗的 “本地” 网络对可独立进行训练,以便 “全局” 监督网络可以针对它们进行训练,以提高模式覆盖性能。实验结果表明,该方法在减轻模式崩溃、稳定收敛和加速收敛方面都表现出优于标准训练的性能。
Dec, 2017