我们提出了一个新的连续学习（CL）范式 Realistic Continual Learning（RealCL），其中任务之间的类分布是随机的，不同于结构化设置。同时，我们引入了一个名为 CLARE 的预训练模型解决方案，旨在在保留过去学习的同时整合新知识。通过广泛的实验证明了 CLARE 在各种 RealCL 场景中的有效性和优越性。

Apr, 2024

本文提出了基于 PyTorch 的开源持续学习库 Avalanche，该库旨在为快速原型设计、训练和可重复评估持续学习算法提供共享和协作的代码库。

Apr, 2021

Continual Inference 是一个 Python 库，用于在 PyTorch 中实现 Continual Inference Networks (CINs)。CINs 是一类神经网络，专门为在线和批处理场景的高效推理而设计。该论文提供了关于 CINs 的全面介绍和指南，并提供了最佳实践和代码示例，以构建现代深度学习的复杂模块。

Apr, 2022

本论文提出了一种称之为强化连续学习的方法，该方法通过巧妙设计的强化学习策略为每个任务搜索最佳神经架构，不仅能够在防止灾难性遗忘方面有很好的性能，还能够适应新任务。在 MNIST 和 CIFAR-100 数据集的连续分类任务实验中，该方法优于现有的深度网络连续学习替代方案。

May, 2018

SequeL 是一个灵活且可扩展的连续学习库，支持 PyTorch 和 JAX 框架，提供了统一的接口和管理多种连续学习算法的能力，旨在促进研究和实践者们的实验和研究。

Apr, 2023

提出基于循环神经网络（RNN）的连续学习模型，利用弹性权重合并法（EWC）处理输入分布的概念漂移，通过在两种不同类型的 RNN 之上实现和测试 EWC，比较了改进后的架构与 EWC 和 RNN 在标准连续学习基准测试中表现的差异，并高亮了需要专门解决 RNN 中的连续学习的问题。

Apr, 2020

通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

Oct, 2019

本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。

Jan, 2024

通用学习系统应在不断变化的环境中以开放式方式不断改进自己。本文提出一种自动连续学习 (ACL) 的方法，通过训练自指神经网络来元学习其上下文中的连续学习算法，以解决传统神经网络学习算法中的 “上下文灾难性遗忘” 问题。ACL 有效地解决了这个问题，并且其学习到的算法表现优于手工设计的算法，在无回放设置下，在 Split-MNIST 基准测试上实现了持续学习多个少样本和标准图像分类数据集的目标。

Dec, 2023

本文提出了使用连续学习方法在低成本家用机器人上学习技能的方法，并使用 Attention-Based Interaction Policies 作为支撑，仅使用每个任务的少量示例即可完成学习。

Jun, 2023