本文提出了一个框架，用于解决神经网络在数据分布不稳定时的忘记问题，该框架结合了元学习和持续学习技术的优点，避免了对任务边界的先验知识，并重点关注了如何更快地恢复性能。在监督学习情境下，我们展示了该框架的应用和效果。

Jun, 2019

引言一个新的叫做 Continual Learning with Adaptive Weights (CLAW) 的做法，基于概率建模和变分推理来解决深度学习中连续学习的问题。实验表明，在分类准确率和解决 Catastrophic Forgetting 两个方面，CLAW 在六个项目中均取得了最先进的表现。

Nov, 2019

本研究介绍了Gradient Coreset Replay作为一种新的replay-based CL策略，该策略可有效应对continual learning中的catastrophic forgetting，同时还展示了在离线/在线CL场景下与现有方法相比取得的显著收益并讨论了基于监督对比损失的可持续学习的收益。

Nov, 2021

该论文提出了一种基于知识蒸馏的增量学习方法，利用未标记数据避免灾难性遗忘，该方法在公开基准测试中表现出显著的效果，能够保存已获取的知识，并对增量添加的任务获得良好的性能。

Feb, 2023

本文针对持续学习过程中的分布漂移（如任务或领域漂移）导致神经网络对原有任务的忘记问题，研究了神经网络中哪些模块更容易被遗忘，提出了遗忘优先微调（FPF）和基于周期触发的$k$-FPF两种方法，取得了较好的效果并显著降低了计算成本。实验表明，FPF方法在几个增量CL基准测试中均能显著提高方法效果，$k$-FPF进一步提高了效率而不降低准确性。

Apr, 2023

该论文提出了Batch Model Consolidation（BMC）方法，通过在实现多个专家模型并将其知识聚合来支持更为实际的连续学习，BMC方法在多个基准数据集上表现出色。

May, 2023

本文研究了指令调整在持续学习大型多模型 (LMMs) 中的应用，并发现持续调整过程中仍然存在灾难性遗忘现象，但多任务联合指令调整可以改善遗忘问题，此外，基于任务相似性的正则化和模型扩展方法在持续学习中表现良好。

Nov, 2023

我们提出了一个基于扩展的模型，用于持续学习，通过在先前任务的参数上增加模型来充分利用以前学到的信息，从而实现更好的知识传递。同时，我们还提出了一种强大的任务预测方法，通过使用熵加权的数据增强和伪标签来评估模型性能，并在各种数据集和架构设置中展示了最先进的结果。

Dec, 2023

基于丰富的记忆资源和训练效率的重视，我们引入了一种适应性记忆回放的框架来解决不断学习问题，通过多臂赌博机问题的方法来动态选择训练数据，从而在保持高性能的同时减少了遗忘达10%。

Apr, 2024

本研究解决了持续学习（CL）中理论与实践之间的鸿沟，尤其是现有方法缺乏理论保障的问题。通过将经验强的方法（RanPAC）整合到理想持续学习者（ICL）框架中，我们提出了ICL-TSVD方法，它通过不断截断提升特征的奇异值分解，确保训练和泛化误差保持较小，具有理论保障并在多个数据集上超越了当前最先进的CL方法。

Oct, 2024