本文提出了一种正则化连续学习的新视角，将其定义为每个任务损失函数的二阶 Taylor 近似，得到了一个可实例化的统一框架，并研究了优化和泛化特性，理论和实验结果表明二阶 Hessian 矩阵的精确近似非常重要。

Jun, 2020

本文介绍了一种用于持续学习的有监督对比学习框架，旨在通过保存少量的数据和适应的分类准则来解决在学习新任务时可能产生的灾难性遗忘问题，实验表明其表现优异。

May, 2023

本文提出了一个简单而有效的方法，以在内存效率的前提下改善持续的测试时间适应性的执行，该方法主要可在具有有限内存的边缘设备上进行，通过减少内存的使用量来实现。该方法包括两个组件，一个是可以在目标领域中将冻结的原始网络适应的轻量级元网络，第二个是我们的新型自我蒸馏正则化，它可以控制元网络的输出不显著偏离冻结的原始网络的输出，从而保留源域中的良好训练知识，因此即使在长期的测试时间适应过程中，没有额外的存储器，这种正则化也可以防止错误积累和灾难性遗忘，从而实现稳定的性能。我们展示了我们的方法在各种图像分类和语义分割任务的基准测试上优于其他最新方法，其中，我们提出的使用 ResNet-50 和 WideResNet-40 的方法比最新的 CoTTA 方法少使用了 86％和 80％的内存。

Mar, 2023

提出了一种新的 TRGP 持续学习方法来解决 catastrophic forgetting 问题，使用 trust region 选择最相关的旧任务，通过 scaled weight projection 聪明地重用旧任务的冻结权重，实现了较高的知识转移效果。

Feb, 2022

借鉴大脑同时利用多种机制的方式，我们提出了 TriRE，一种新的持续学习范式，它包括保留每个任务最突出的神经元，修订和巩固当前和过去任务的提取知识，以及通过回溯和重新学习促进次要活跃神经元用于后续任务。在持续学习设置中，TriRE 显著减少了任务干扰，并超过了考虑独立评估的不同持续学习方法。

Oct, 2023

本文研究了 Continual Learning 中基于正则化的方法，通过理论推理和实验说明了这些方法在 class-incremental 场景下不能有效学习区分不同任务的类别，在多任务强化学习或用于 Continual Learning 的预训练模型中也存在重要后果。作者认为理解正则化策略的缺陷将有助于更有效地利用它们。

Dec, 2019

本文介绍了一个叫做 “持续学习” 的学习模式，研究了一个叫做 “灾难遗忘” 的问题，提出了一种叫做 “NTK overlap matrix” 的任务相似度度量方法，并介绍了一些算法来减轻灾难遗忘产生的影响。其中，我们提出一种基于主成分分析的正交梯度下降算法可以帮助减轻灾难遗忘在常见持续学习场景下的影响。实验结果表明，我们的方法能够有效减轻灾难遗忘的问题。

Oct, 2020

记忆转换器是应对神经网络在连续学习中面临的灾难性遗忘挑战的一种方法，通过引入混合适配器和基于生成模型的路由机制来减轻这个问题，实现了各种视觉连续学习任务的最新性能和出色的参数效率。

Apr, 2024

本篇论文提出了一种基于局部特征训练的两阶段方法，能够实现大规模预训练神经机器翻译模型的连续学习，以适应新任务，采用这种方法能够在不访问以前的训练数据或引入模型分离的情况下解决之前方法的不足。

Nov, 2022

本文提出了一种新的方法来解决神经网络训练过程中的 Catastrophic forgetting 问题，该方法结合了正则化和生成模型复习策略的优势，使用基于 internal embeddings 的 normalizing flow 作为生成模型并对其进行调节，取得了较好的性能表现。

Jul, 2020