研究了当神经网络被培训在一个时间上变化的数据流时，其面临的“灾难性遗忘”问题。本文提出并实验了一种简单的rehearsal-based方法，即Experience Replay，并证明其相对于现有的基于rehearsal的方法有了极大的精度提升。

Oct, 2020

本研究介绍了Gradient Coreset Replay作为一种新的replay-based CL策略，该策略可有效应对continual learning中的catastrophic forgetting，同时还展示了在离线/在线CL场景下与现有方法相比取得的显著收益并讨论了基于监督对比损失的可持续学习的收益。

Nov, 2021

本篇文章探讨了如何通过回放记忆的方式来解决深度神经网络在连续学习时的“灾难性遗忘”问题，并对各种取样策略下回放数据的效率、性能和可伸缩性进行了深入评估，最终提供了一个针对各种数据分布选择回放方法的实用解决方案。

Aug, 2022

通过将真实图片的训练特征提炼到更具信息量的样本中，保持训练梯度的一致性和与过去任务的关联性，我们提出了一种从流式数据中总结知识的方法(SSD)，并进行了多次实验以支持其有效性，其中包括对限制性内存缓冲下连续 CIFAR-100 的性能提升超过 3%。

May, 2023

在线连续学习中，通过在单通数据流中不断学习新数据并减轻灾难性遗忘的问题，本文分析了在新的学习任务中为何在线学习模型无法很好地泛化的快捷学习，然后提出了在线原型学习框架（OnPro），通过在线原型平衡和自适应原型反馈机制，达到良好分离所有已见类别、学习新类别的平衡状态，并在广泛使用的基准数据集上通过实验证明了OnPro相对于最先进的基准方法的卓越性能。

Aug, 2023

通过对常用的蓄水池采样方法与其他替代人群策略进行比较，本研究旨在解决连续学习中选择最具信息价值样本和确定最优存储样本数量的问题，并提供了相关的详细分析。

Aug, 2023

AdaER是一种用于解决持续终身学习中的灾难性遗忘挑战的新算法，通过引入C-CMR策略和E-BRS策略来选择性地重播与当前输入数据最矛盾的记忆，并最大化信息熵以提高记忆缓冲区的性能，进而在实验中表现出优于现有基准方法的持续终身学习效果。

Aug, 2023

本文介绍了一种新颖的观点，以显著减轻连续学习中的灾难性遗忘，强调模型保持现有知识和吸收新信息的能力。我们提出了COgnitive REplay (CORE)的方法，包括自适应数量分配和质量导向数据选择这两个关键策略。该方法在split-CIFAR10上的平均准确率为37.95%，超过最佳基准方法6.52%。此外，它还将最差表现任务的准确率相比顶级基准提高了6.30%。

Feb, 2024

基于丰富的记忆资源和训练效率的重视，我们引入了一种适应性记忆回放的框架来解决不断学习问题，通过多臂赌博机问题的方法来动态选择训练数据，从而在保持高性能的同时减少了遗忘达10%。

Apr, 2024

本研究针对连续学习中严重的灾难性遗忘问题，即模型在学习新任务时会遗忘以前的知识。论文提出通过自蒸馏获取可迁移知识，并优化记忆更新方法以优先存储易混淆样本，从而实现更高效的学习。实验结果表明，该方法在CIFAR10、CIFAR100和MiniimageNet数据集上的表现优于传统方法。

Sep, 2024