本文研究通过经验重放的方法，利用“distribution matching”算法来防止深度神经网络多任务学习中的严重忘却问题。实验探索了不同体验选择策略的优缺点，结果表明分布匹配算法可以成功避免严重忘却问题，并且在所有测试领域中始终表现最佳。同时我们发现，当部分任务的重要性比其他任务更高时，最大化状态空间覆盖率是有福利的。

Feb, 2018

该论文探讨了在机器学习系统中，面对一个不断涌现的数据流的情况下，通过回放的方法来控制采样记忆，从而提供全新的方案来解决单通道数据训练面临的挑战，并通过多个标准基准测试，达到了与或超过现有最先进技术的表现。

Aug, 2019

本研究提出了一种新的压缩激活重放技术，以中间层激活的重放增强深度模型的正则化效果，它在大规模任务、分裂-CIFAR和分裂-miniImageNet数据集上均有显着效果。

Oct, 2020

本研究介绍了Gradient Coreset Replay作为一种新的replay-based CL策略，该策略可有效应对continual learning中的catastrophic forgetting，同时还展示了在离线/在线CL场景下与现有方法相比取得的显著收益并讨论了基于监督对比损失的可持续学习的收益。

Nov, 2021

本文提出了一种新的重放式连续学习策略OLCGM，使用知识压缩技术持续压缩记忆并更好地利用其有限的内存大小，取得了比现有重放策略更高的最终准确性。

Jun, 2022

本篇文章探讨了如何通过回放记忆的方式来解决深度神经网络在连续学习时的“灾难性遗忘”问题，并对各种取样策略下回放数据的效率、性能和可伸缩性进行了深入评估，最终提供了一个针对各种数据分布选择回放方法的实用解决方案。

Aug, 2022

本研究提出了一种基于强化经验回放的连续学习方法，通过使用当前训练数据模仿未来经验，以及蒸馏内存缓冲区的过去经验，来提高模型的预测一致性，从而有效保留已获得的知识。实验结果表明，我们的方法在多个图像分类数据集上优于现有方法。

May, 2023

本文介绍了一种新颖的观点，以显著减轻连续学习中的灾难性遗忘，强调模型保持现有知识和吸收新信息的能力。我们提出了COgnitive REplay (CORE)的方法，包括自适应数量分配和质量导向数据选择这两个关键策略。该方法在split-CIFAR10上的平均准确率为37.95%，超过最佳基准方法6.52%。此外，它还将最差表现任务的准确率相比顶级基准提高了6.30%。

Feb, 2024

通过研究回放方法在连续学习中的应用，本文提出了一种评估选择性检索策略的框架，并评估了多种策略的表现，并提出了防止重放重复的策略，探索是否可以通过学习低损失值的新样本来避免回放。

Apr, 2024

基于丰富的记忆资源和训练效率的重视，我们引入了一种适应性记忆回放的框架来解决不断学习问题，通过多臂赌博机问题的方法来动态选择训练数据，从而在保持高性能的同时减少了遗忘达10%。

Apr, 2024