RECALL 是一种重播增强方法，通过自适应规范化和旧任务的策略蒸馏，在新任务上增强普适性和稳定性，从而显著改善持续强化学习中灾难性遗忘的问题。在 Continual World 基准测试中，RECALL 的性能明显优于纯粹的完美记忆重播，与最先进的持续学习方法相比，整体性能相当甚至更好。

Nov, 2023

本文研究神经网络存在的遗忘问题以及连续学习的解决方案，通过重放机制和元学习的结合，发现引入元学习可以解决传统重放机制在每个任务分配的内存有限时容易导致失效的问题，并在保证学习效率和准确性方面具有优势。

Mar, 2021

本文研究通过经验重放的方法，利用 “distribution matching” 算法来防止深度神经网络多任务学习中的严重忘却问题。实验探索了不同体验选择策略的优缺点，结果表明分布匹配算法可以成功避免严重忘却问题，并且在所有测试领域中始终表现最佳。同时我们发现，当部分任务的重要性比其他任务更高时，最大化状态空间覆盖率是有福利的。

Feb, 2018

本篇文章探讨了如何通过回放记忆的方式来解决深度神经网络在连续学习时的 “灾难性遗忘” 问题，并对各种取样策略下回放数据的效率、性能和可伸缩性进行了深入评估，最终提供了一个针对各种数据分布选择回放方法的实用解决方案。

Aug, 2022

通过将经验回放与新的 “锚定” 目标相结合，使用双层优化来更新当前任务的知识，同时保持对过去任务的一些锚点的预测，以减少遗忘。在多个监督学习基准测试中进行实验，证明了我们的方法在精度和遗忘度量方面改进了标准经验回放，并适用于各种大小的情节性记忆。

Feb, 2020

本文的主要研究方向是解决人工神经网络在学习新任务时会快速遗忘以前学到的任务而导致无法实现真正的生命周期学习的问题，该文提出了一种新的方法，即基于生成回放的连续学习方法，该方法可以在各种不同的场景下实现优异的性能表现。

Sep, 2018

提出了一种利用深度生成网络结合图像分类和强化学习领域中的连续学习思想的模型，该模型具有双重记忆系统和伪回放系统，能够在 Atari 2600 游戏中完成顺序学习而不会遗忘前面的任务，并且随着任务数量的增加不需要额外的存储要求，存储原始数据或重新访问过去的任务。

Dec, 2018

我们提出了一种新的回放策略，称为 Manifold Expansion Replay (MaER)，通过扩展知识表示的隐含流形，改善模型的鲁棒性和表达能力，以解决在学习新任务过程中由于老知识和新知识之间不平衡导致的灾难性遗忘问题。我们通过对 MNIST、CIFAR10、CIFAR100 和 TinyImageNet 进行广泛实验验证，表明提出的方法在继续学习设置中显著提高了准确性，优于现有技术水平。

Oct, 2023

研究了当神经网络被培训在一个时间上变化的数据流时，其面临的 “灾难性遗忘” 问题。本文提出并实验了一种简单的 rehearsal-based 方法，即 Experience Replay，并证明其相对于现有的基于 rehearsal 的方法有了极大的精度提升。

Oct, 2020

本文提出通过增加可学习的随机图来维护和重放以前样本的小型陈情表记忆，来解决非静态分布中可用数据的持续学习问题的方法。在多个基准数据集上的实证结果表明，该模型持续胜过最近提出的基线方法，用于无任务的持续学习。

Jul, 2020