Dec, 2018

从持续学习的角度看生成模型

PDF
TL;DR本文比较评估了不同生成模型在连续学习时的适用性，主要研究了不同策略下生成模型的记忆及生成质量表现，结论为原始 GAN 模型表现最优，而 generative replay 策略最优。
generative modelscontinual learningsequential image generationgenerative replaymemory ability
发现论文，激发创造
  • 生成回放与反馈连接作为连续学习的通用策略

    本文的主要研究方向是解决人工神经网络在学习新任务时会快速遗忘以前学到的任务而导致无法实现真正的生命周期学习的问题，该文提出了一种新的方法，即基于生成回放的连续学习方法，该方法可以在各种不同的场景下实现优异的性能表现。

    Sep, 2018

  • 封闭循环记忆 GAN 用于连续学习

    本文提出了一种基于累计的闭环记忆重放生成对抗网络的方案，并引入了外部正则化进行最大样本多样性的小型内存单元。实验结果表明，在使用动态内存单元的条件下，该方案在处理硬任务学习方面具有很高的性能增长。

    Nov, 2018

  • 利用生成模型进行持续分类学习

    本文介绍了一种连续学习的分类模型，可以防止神经网络在逐个学习任务时出现 catastrophic forgetting。作者通过扩展已有技术，并提出了一种新的变分下界方法，使得神经网络在连续学习中可以同时保持之前学到的知识。

    Oct, 2018

  • 记忆重播生成对抗网络：学习生成新类别图像而不遗忘

    本文针对生成模型中的遗忘问题，提出了一种称作 Memory Replay GANs (MeRGANs) 的有条件生成对抗网络框架，通过集成记忆重现生成器来缓解前几类的遗忘，在 MNIST、SVHN 和 LSUN 数据集上的实验结果表明，该记忆重现方法能够生成较竞争力的图像，同时显著减轻遗忘的前几类。

    Sep, 2018

  • 终身 GAN: 面向条件图像生成的持续学习

    本文研究了生成模型中的终身学习问题，提出了一种使用知识蒸馏的解决方案，可以在保持之前任务能力不变的同时完成新的任务，该方法适用于不同的有条件图像生成设置。

    Jul, 2019

  • 基于时间感知正则化的生成式经验回放的类增量学习

    在严格的条件下，通过使用生成回放、模型大小控制、时态正则化等方法，本研究提出了一种脑启发式的持续学习方法，以解决累积学习中遗忘问题，并在重要基准测试中取得了较好的实验结果。

    Oct, 2023

  • 终身生成建模

    本文介绍了一种基于学生 - 教师 VAE 架构的无监督生成建模的终身学习方法，通过引入一种新的跨模型正则化器，以减少神经网络在连续学习情况下面临的灾难性干扰，并在多个数据集上验证了其性能。

    May, 2017

  • 持续学习的不变表示学习

    本文提出了一种名为 IRCL 的伪排练式学习方法，其中通过将类不变表示与条件生成模型分离并与类特定表示共同使用，以学习顺序任务。该方法证明了在两个著名的连续学习基准上都比基于正则化和基于伪排练的方法更好，并成功地解决了灾难性遗忘问题。

    Jan, 2021

  • CLoG: 图像生成模型的持续学习基准测试

    在人工智能中，持续学习（Continual Learning）是一个重要的挑战，旨在模拟人类不断获得知识和技能的能力。本研究将关注点从基于分类任务的持续学习转移到生成模型的持续学习（CLoG）。研究通过对比传统的基于分类任务的持续学习，系统性地识别了 CLoG 所面临的独特挑战。研究在生成任务中引入了基于回放、正则化和参数隔离等三种现有的持续学习方法，并提出了广泛任务覆盖和多样性的 CLoG 基准。通过基准测试和结果分析，揭示了有价值的见解，对未来的 CLoG 方法的开发具有重要意义。此外，作者还公开了一个代码库，旨在促进 CLoG 的基准测试和实验，从而在终身学习范 paradigma 内为下一代 AI 生成内容（AIGC）开辟新的道路。

    Jun, 2024

  • 生成蒸馏下的扩散模型的持续学习

    借助生成性重放的扩散模型的生成蒸馏方法，可以显着提升持续学习性能，只需适度增加计算成本。

    Nov, 2023