研究在线持续学习范式下，使用经验回放（ER）对抗内存与计算约束时，新添加的类别在ER下表示的变化，通过实证分析验证减轻高度干扰参数更新的新方法。该方法采用不对称更新规则，有利于在任务边界时避免遗忘。在标准持续学习基准测试中，与强基线方法相比取得了显著提高。
Apr, 2021
本文探讨了不断学习中，使用rehearsal方法的优点和局限，通过三个基准测试提供了实证证据，指出使用该方法的模型在任务完成后仍然处于较低的损失区域，但有过拟合采样数据的风险从而降低模型的泛化能力，这是一项重要的持续学习研究。
本研究介绍了Gradient Coreset Replay作为一种新的replay-based CL策略，该策略可有效应对continual learning中的catastrophic forgetting，同时还展示了在离线/在线CL场景下与现有方法相比取得的显著收益并讨论了基于监督对比损失的可持续学习的收益。
Nov, 2021
通过知识蒸馏和参数正则化的组合，并探索加入预训练模型的方法，实现了单一，逐步扩展任务的无需回忆连续学习，避免遗忘以前学过的类别并不断优化性能。
Mar, 2022
本文提出了一种新的重放式连续学习策略OLCGM，使用知识压缩技术持续压缩记忆并更好地利用其有限的内存大小，取得了比现有重放策略更高的最终准确性。
Jun, 2022
本论文重新审视了在线学习中排挤记忆（rehearsal）动态。我们从偏差和动态经验风险最小化的角度提供了理论见解，并检查了重复练习的优点和局限性。受我们的分析启发，设计了一个简单直观的“重复增强排挤（Repeated Augmented Rehearsal，RAR）”基线，以解决在线排练的欠拟合和过拟合问题。该论文还展示了RAR在学习轨迹中成功实现了对过去数据损失景观和高损失梁脊的准确近似。我们通过广泛的消融研究研究了重复和增强练习之间的相互作用，同时应用强化学习（RL）来动态调整RAR的超参数，以在线平衡稳定性-可塑性权衡。
Sep, 2022
持续学习中对样本的选择策略在深度神经网络中起到关键作用，本研究提出了一种名为GRASP的样本选择策略，通过选择最具代表性的样本来更新神经网络，不仅在图像分类任务上表现优秀，还在文本分类任务中取得了良好效果。
Aug, 2023
通过创建每个任务的任务特定调制参数来实现，我们的方法试图在确保不遗忘的同时，最大化新任务的性能。通过全面的实验评估，我们的模型在获取和保留对其他多任务模型而言困难的新任务方面表现出卓越的性能，从而强调了我们的方法在防止灾难性遗忘并适应新任务的获取方面的功效。
Nov, 2023
本文介绍了一种新颖的观点，以显著减轻连续学习中的灾难性遗忘，强调模型保持现有知识和吸收新信息的能力。我们提出了COgnitive REplay (CORE)的方法，包括自适应数量分配和质量导向数据选择这两个关键策略。该方法在split-CIFAR10上的平均准确率为37.95%，超过最佳基准方法6.52%。此外，它还将最差表现任务的准确率相比顶级基准提高了6.30%。
Feb, 2024
本文提出了一种名为Drift-Reducing Rehearsal (DRR)的新型排练策略，以减轻连续领域漂移并在在线持续学习中实现最先进的性能。
May, 2024