在类增量学习场景中，利用可用模型容量提出 SpaceNet，该方法从头开始以自适应方式训练稀疏的深度神经网络，压缩每个任务的稀疏连接到较少的神经元，实现稀疏表示并降低任务之间的干扰。在多个 CL 基准测试中，SpaceNet 优于基于正则化的方法，并且比扩容的基于架构的方法性能更好，同时还实现了大幅度的内存缩减。

Jul, 2020

本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

Sep, 2019

本文提出一种基于模块化架构和任务驱动的先验知识的学习算法，能够有效地处理长时间序列任务，且在常规连续学习基准测试上表现出了竞争优势。

Dec, 2020

本研究提出了部分权重生成的超网络，针对连续学习中忘记问题进行了实验，发现与激活重演方法相比，部分超网络保持了先前经验的准确性，并提供了计算和最终测试准确性之间有效的平衡。

Jun, 2023

通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

Oct, 2019

本文提出了一种称为自然连续学习（NCL）的新方法，该方法统一了权重正则化和投影梯度下降。NCL 使用贝叶斯权重正则化来鼓励在收敛时所有任务的良好表现，并结合使用先验精度的梯度投影，从而防止优化过程中的灾难性遗忘。我们的方法在前馈神经网络和循环神经网络中应用于连续学习问题时，优于标准权重正则化技术和基于投影的方法。最后，训练的网络在学习新任务时演变出特定于任务的动力学，与生物电路的实验结果类似。

Jun, 2021

本文提出了一种新的训练范式，它在神经网络参数空间上引入区间约束以控制遗忘。我们提出了 Hyperrectangle Training，这是一种新的训练方法，其中每个任务都用参数空间中的超矩形表示，完全包含在先前任务的超矩形中，有效地模拟超矩形训练集合。同时我们展示了 InterContiNet 算法在不保存以前任务数据的情况下能够在连续学习设置中很好地表现。

Jun, 2022

提出基于循环神经网络（RNN）的连续学习模型，利用弹性权重合并法（EWC）处理输入分布的概念漂移，通过在两种不同类型的 RNN 之上实现和测试 EWC，比较了改进后的架构与 EWC 和 RNN 在标准连续学习基准测试中表现的差异，并高亮了需要专门解决 RNN 中的连续学习的问题。

Apr, 2020

该研究通过为卷积层添加任务特定的门控模块，并使用稀疏性目标促进对有限内核集的选择，提出了一种解决序列学习问题的新框架，实现了在没有任务标签信息的情况下的持续学习，该模型的准确度明显优于现有方法。

Mar, 2020

本文针对循环神经网络 (RNNs) 顺序数据的连续学习 (CL) 方法进行了全面评估，发现了应用权重重要性方法时的特殊性，并提出了一种基于超级网络的正则化方法，有效解决了 RNNs 上的连续学习问题。

Jun, 2020