本文总结并讨论了最近采用突触正则化、结构可塑性和经验重放等技术解决连续流式数据学习时的灾难性遗忘问题的深度学习方法，并通过实证表明，与不采用经验重放的架构相比，在在线增量学习任务中，带有经验重放的架构通常更具有优势。

Mar, 2020

我们在这项工作中旨在建立起机器学习研究的两个重要领域之间的紧密联系：连续学习和序列建模。也就是说，我们提出将连续学习作为序列建模问题进行建模，使得先进的序列模型可以用于连续学习。通过采用元连续学习（MCL）框架，我们可以在元级别上对序列模型进行训练，应用于多个连续学习实验。作为我们新建模的具体示例，我们演示了将 Transformers 及其高效变体用作 MCL 方法的应用。我们在七个基准测试上进行了实验，涵盖了分类和回归问题，结果表明序列模型可以成为通用连续学习的一个有吸引力的解决方案。

Oct, 2023

本文提出了基于 PyTorch 的开源持续学习库 Avalanche，该库旨在为快速原型设计、训练和可重复评估持续学习算法提供共享和协作的代码库。

Apr, 2021

本研究提出了带自适应组合模块的连续序列生成方法，以在具有相似任务的情况下保证知识共享，并通过伪经验重播促进共享模块之间的知识转移，实验结果表明，相对于基线方法，该方法在性能和参数效率上表现更好。

Mar, 2022

本文介绍 Renata—— 一个用于 PyTorch 模型的实时更新管道的连续学习库，旨在解决实践中使用连续学习算法的需求，并展示了实验结果。

Apr, 2023

sQUlearn 是一个用户友好的，NISQ-ready 的 Python 库，用于量子机器学习（QML），旨在与 scikit-learn 等经典机器学习工具无缝集成。该库的双层架构可同时为 QML 研究人员和从业者提供服务，实现高效的原型设计、实验和流水线化。sQUlearn 提供了一个全面的工具集，包括量子内核方法和量子神经网络，以及可定制的数据编码策略、自动执行处理和专门的内核正则化技术。通过专注于 NISQ 兼容性和端到端自动化，sQUlearn 旨在弥合当前量子计算能力与实际机器学习应用之间的差距。

Nov, 2023

提出基于循环神经网络（RNN）的连续学习模型，利用弹性权重合并法（EWC）处理输入分布的概念漂移，通过在两种不同类型的 RNN 之上实现和测试 EWC，比较了改进后的架构与 EWC 和 RNN 在标准连续学习基准测试中表现的差异，并高亮了需要专门解决 RNN 中的连续学习的问题。

Apr, 2020

MoCL 是一种无需复习的模块化和组合的连续学习框架，通过不断向语言模型添加新模块并与现有模块组合，有效地促进知识传递。

Mar, 2024

Continual Inference 是一个 Python 库，用于在 PyTorch 中实现 Continual Inference Networks (CINs)。CINs 是一类神经网络，专门为在线和批处理场景的高效推理而设计。该论文提供了关于 CINs 的全面介绍和指南，并提供了最佳实践和代码示例，以构建现代深度学习的复杂模块。

Apr, 2022

本文提出变分连续学习 (Variational Continual Learning，VCL) 框架，它将在线变分推理 (Online Variational Inference, VI) 和神经网络中的蒙特卡罗变分推理 (Monte Carlo VI) 相融合，成功地在任务时序不断演变、全新任务涌现等复杂连续学习情景下对深度判别模型和生成模型进行建模并避免灾难性遗忘的发生。实验结果表明，在多种任务上，VCL 优于现有的连续学习方法。

Oct, 2017