利用生成模型进行持续分类学习

NIPSOct, 2018

Continual Classification Learning Using Generative Models

Frantzeska Lavda, Jason Ramapuram, Magda Gregorova, Alexandros Kalousis

TL;DR本文介绍了一种连续学习的分类模型，可以防止神经网络在逐个学习任务时出现 catastrophic forgetting。作者通过扩展已有技术，并提出了一种新的变分下界方法，使得神经网络在连续学习中可以同时保持之前学到的知识。

Abstract

continual learning is the ability to sequentially learn over time by accommodating knowledge while retaining previously learned experiences. Neural networks can learn multiple tasks when trained on them jointly, but cannot maintain performance on previously learned tasks when tasks are

continual learning neural networks catastrophic forgetting classification model variational bound

发现论文，激发创造

一项继续学习调查：在分类任务中应对遗忘

本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡，并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

Sep, 2019

分离记忆编辑与模型更新的解耦继续学习

机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。

Dec, 2023

生成式持续概念学习

该研究提出了一个利用少量标记示例来扩展以前学习概念的计算模型，该模型基于 Parallel Distributed Processing 和 Complementary Learning Systems 理论，使用嵌入空间将新概念与以前学习的概念联系起来，并通过生成分布来解决灾难性遗忘问题。

Jun, 2019

终身生成建模

本文介绍了一种基于学生 - 教师 VAE 架构的无监督生成建模的终身学习方法，通过引入一种新的跨模型正则化器，以减少神经网络在连续学习情况下面临的灾难性干扰，并在多个数据集上验证了其性能。

May, 2017

神经网络中的持续学习

通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

Oct, 2019

终身 GAN: 面向条件图像生成的持续学习

本文研究了生成模型中的终身学习问题，提出了一种使用知识蒸馏的解决方案，可以在保持之前任务能力不变的同时完成新的任务，该方法适用于不同的有条件图像生成设置。

Jul, 2019

自适应分类标准在任务增量连续学习中缓解灾难性遗忘

本文介绍了一种用于持续学习的有监督对比学习框架，旨在通过保存少量的数据和适应的分类准则来解决在学习新任务时可能产生的灾难性遗忘问题，实验表明其表现优异。

May, 2023

持续学习与灾难性遗忘

本书章节探讨了持续学习的动态，即从非固定数据流中增量学习的过程。尽管对于人脑来说是一种自然的技能，但对于人工神经网络来说却非常具有挑战性。这是因为当学习新知识时，这些网络往往会迅速而彻底地忘记之前所学的知识，这一现象被称为灾难性遗忘。特别是在过去十年中，持续学习已成为深度学习中被广泛研究的主题。本书章节回顾了该领域产生的见解。

Mar, 2024

连续学习：特征提取形式化、有效算法和基本障碍

本文探讨了机器学习中的持续学习范式，并提出了一种基于特征提取的持续学习框架，通过特征和分类器在每个环境中的联合训练，设计了一种高效的梯度算法 DPGD，并证明了该算法能够在当前环境下表现良好，同时避免灾难性遗忘，但在特征是非线性的情况下，并不存在这样一种算法。

Mar, 2022

通用医疗模型的渐进式持续学习

本研究通过评估四个不同医学图像场景中各种连续学习方法的性能表明，单一模型可以顺序地学习来自不同专业的新任务，并达到与传统方法相当的性能，从而证明了在医学领域跨机构共享或回收模型的可行性，进一步推动了通用医学影像人工智能的发展。

Nov, 2023