ICMLJul, 2018

关于生成对抗网络中灾难性遗忘和模式崩塌问题的研究

PDF
TL;DR本文研究发现生成对抗网络 (GAN) 训练是一个连续学习问题，在所谓的任务序列中改变模型分布的不匹配程度决定了遗忘的程度，而遗忘与模式崩溃相互关联，使得 GAN 训练不收敛。作者进一步研究了 GAN 的不同变体中鉴别器输出的地形，并且探索了在 GAN 中防止遗忘的方法。
generative adversarial networkscatastrophic forgettingmode collapsediscriminatorpreventing
发现论文，激发创造
  • 利用自适应多对抗训练克服模式崩溃

    本研究以新的数据生成过程为基础，揭示了生成对抗网络（GAN）生成器模式崩溃的驱动因素是判别器对先前样本的分类准确性的遗忘，即连续学习中的灾难性遗忘现象。为了解决此问题，我们引入了一种自适应生成额外判别模式的训练方法，可以减轻模式崩溃并提高 GAN 评估的标准度量。

    Dec, 2021

  • 梯度神经网络中灾难性遗忘的实证研究

    探究现代神经网络机器学习模型在不同任务训练后的 “灾难性遗忘” 问题，发现以 dropout 算法为代表的梯度训练算法可以最好地适应新任务并记住旧任务，而不同任务间的关系会显著影响激活函数表现，建议激活函数选择交叉验证。

    Dec, 2013

  • 生成对抗网络中的持续学习

    通过减少灾难性遗忘，本研究将最新工作应用于在一系列不同分布的序列上训练生成对抗网络并实现连续生成建模。

    May, 2017

  • 查看 GAN 无法生成的内容

    本文提出一种可视化 GAN 模式折叠问题的方法，通过应用语义分割网络来比较生成图片中分割对象的分布与训练集中目标分布的差异，进而发现被 GAN 遗漏的对象类别，并给出相应的可视化结果。同时，采用更简单的 GAN layer 反演方法来检测多个数据集上 GAN 的典型失败情况。

    Oct, 2019

  • 深度学习中的灾难性遗忘：全面分类

    近期深度学习模型在图像分类或生成等任务中取得了显著的性能，并经常超越人类的准确性。然而，它们在没有访问先前数据的情况下，学习新任务和更新知识可能会遇到困难，这导致了被称为灾难性遗忘的显著准确性损失。本文综述了关于使用梯度下降作为学习算法的现代深度学习模型中解决灾难性遗忘的最近研究，尽管已提出了多种解决方案，但尚未建立确定性的解决方案或关于评估灾难性遗忘的共识。本文对最近的解决方案进行了全面的评述，提出了一个分类法以组织这些解决方案，并明确了这一领域的研究空白。

    Dec, 2023

  • 灾难性遗忘的解剖：隐藏的表示和任务语义

    本研究探讨了机器学习系统中存在的灾难性遗忘问题，发现深层网络是导致遗忘的主要因素，并介绍了稳定深层网络的方法。实证分析表明，任务相似度与遗忘程度具有相关性。在标准的 split-CIFAR-10 设置上进行了实验，并引入了一个基于 CIFAR-100 的任务，近似实现了输入分布的转移，得到了一些有益的结论。

    Jul, 2020

  • 无遗忘的 GAN 记忆

    为解决生命周期学习中的灾难性遗忘问题，提出了一种基于生成式对抗网络记忆的方法，通过形成视觉上差异化的目标生成来记忆数据流，实现无遗忘学习。该方法通过基于先前任务的信息前向传递和调制来体现生命周期学习，证明了其在生命周期分类问题上相对于现有方法的优越性和有效性。

    Jun, 2020

  • 封闭循环记忆 GAN 用于连续学习

    本文提出了一种基于累计的闭环记忆重放生成对抗网络的方案，并引入了外部正则化进行最大样本多样性的小型内存单元。实验结果表明，在使用动态内存单元的条件下，该方案在处理硬任务学习方面具有很高的性能增长。

    Nov, 2018

  • 自监督 GAN 抵御遗忘

    本文介绍了如何通过自我监督方法对 GAN 模型中的鉴别器进行改进，以避免其出现遗忘现象，提高模型性能。

    Oct, 2018

  • GAN 生成器之间的共享损失

    利用多个生成器竞争、同时与鉴别器的交互来解决传统 GAN 中的模式崩溃问题，大幅度减少训练时间，同时不影响其性能。

    Nov, 2022