本文提出了一种新的连续学习方法，通过发现为每个任务建立子网络来解决灾难性遗忘，同时引入了软掩模机制来保留先前的知识并实现知识传递，实验结果显示该方法始终优于强基线模型。

Oct, 2023

通过 HyperMask 方法，利用受 Lottery Ticket Hypothesis 影响的超网络产生适应新任务的半二值掩码，从而解决了人工神经网络在连续训练多个任务时遇到的灾难性遗忘问题。

Sep, 2023

本文提出了一种有效的迭代网络剪枝、扩展和掩蔽（TPEM）的持续学习方法，它将网络剪枝用于保留旧任务的知识，采用网络扩展来为新任务创建自由权重，以及引入任务特定的网络掩蔽来缓解旧任务的固定权重对新任务的负面影响。在三个基准数据集的七个不同任务上进行了广泛的实验，结果表明 TPEM 相对于强大的竞争对手具有显著改善效果。

Jul, 2021

本文提出了种方法，在深度神经网络的训练过程中，仅更新极少参数，通过一个由具有最大 Fisher 信息的 k 个参数组成的稀疏掩码选择一个参数子集进行多次迭代更新。实验证明，该方法在参数有效转移学习和分布式训练方面的表现可与其他方法相匹配或超过，并且使用的存储和通信资源更少。

Nov, 2021

该研究通过为卷积层添加任务特定的门控模块，并使用稀疏性目标促进对有限内核集的选择，提出了一种解决序列学习问题的新框架，实现了在没有任务标签信息的情况下的持续学习，该模型的准确度明显优于现有方法。

Mar, 2020

在类增量学习场景中，利用可用模型容量提出 SpaceNet，该方法从头开始以自适应方式训练稀疏的深度神经网络，压缩每个任务的稀疏连接到较少的神经元，实现稀疏表示并降低任务之间的干扰。在多个 CL 基准测试中，SpaceNet 优于基于正则化的方法，并且比扩容的基于架构的方法性能更好，同时还实现了大幅度的内存缩减。

Jul, 2020

通过 exclusive subnetwork training 和 KNN-based knowledge transfer 方法，我们提出了 ExSSNeT 模型，避免遗忘同时实现新任务的快速学习和知识转移，在文本分类和视觉任务中得到了比 SupSup 更好的结果。

Oct, 2022

本文提出了一种基于三元掩码和任务特定功能归一化的持续学习方法，旨在避免灾难性遗忘、反向传递，并在不影响之前任务的情况下掌握新任务，该方法在减少内存开销的同时表现出优于现有方法的最新技术水平。

Jan, 2020

我们提出了一个自主进程的权重整合（spWC）框架，通过评估以前任务的辨别贡献，以实现鲁棒的连续学习。

Jul, 2023

本文提出了一种名为 Sparse Continual Learning（SparCL）的新框架，通过权重稀疏性、数据效率和梯度稀疏性的协同作用来实现训练加速和准确性保持，并且在资源受限的环境下，基于稀疏性的连续学习可以实现成本效益。

Sep, 2022