提出一种生命化语言学习的模型，其中采用了 “稀疏经验回放” 和 “本地适应” 以减轻灾难性遗忘，并将这种情况应用于文本分类和问题回答中，证明了这种模型的优越性，同时表明通过随机选择存储在内存中的样本可以大大减少经验记忆模块的空间复杂度，并认为经验记忆组件是构建通用语言智能的重要组成部分。

Jun, 2019

本文提出了一个理论方法来解释在连续学习任务中避免遗忘的可行性和困难性，主要发现是实现这样的算法通常需要解决 NP 问题和具有完美的内存存储能力。此发现在经验回放、情景记忆和核心集等方面的 CL 算法表现出的优异表现相对于基于正则化方法是有理论基础的。

Jun, 2020

本研究使用 Actor-Critic 架构，通过修改 critic 的目标函数，将记忆机制引入连续控制问题中，使用基于经验的记忆缓冲区优先级排列方式，验证了在广泛的行动空间下，使用记忆机制能够提高连续控制中代理的性能，并且相较于最先进的自由模型离线算法，实现了更高的样本效率。

Jun, 2021

通过将经验回放与新的 “锚定” 目标相结合，使用双层优化来更新当前任务的知识，同时保持对过去任务的一些锚点的预测，以减少遗忘。在多个监督学习基准测试中进行实验，证明了我们的方法在精度和遗忘度量方面改进了标准经验回放，并适用于各种大小的情节性记忆。

Feb, 2020

本研究提出了一种基于强化经验回放的连续学习方法，通过使用当前训练数据模仿未来经验，以及蒸馏内存缓冲区的过去经验，来提高模型的预测一致性，从而有效保留已获得的知识。实验结果表明，我们的方法在多个图像分类数据集上优于现有方法。

May, 2023

研究了 AI 发展中的一个主要障碍，即模型快速解决新问题的能力欠佳且容易忘记先前获得的知识。提出了一种基于连续数据的模型学习评估指标并提出了 Gradient Episodic Memory (GEM) 模型，它可以减轻模型遗忘的问题并允许将知识传递到以前的任务中。实验表明，相对于现有技术水平，GEM 表现良好。

Jun, 2017

本文介绍了一种神经架构 (SEM)，其包含共享追忆存储器的模型，便于在多项任务中学习并顺序执行，实现持续学习和在同一环境中获取新技能的效果。

May, 2019

通过利用测试数据进行自我监督，以减少遗忘，并提出了基于梯度稀疏参数更新的简单但有效的学生 - 教师模型，进而显著改善了模型的性能和减少了遗忘。

Jun, 2024

这篇研究论文介绍了一种用于持续学习的新框架，它将关联记忆与回放策略相结合，通过稀疏内存编码归档显著的数据片段，并引入面向内容的记忆检索机制，通过实验证明了该方法在各种持续学习任务中的有效性。

Oct, 2023

基于丰富的记忆资源和训练效率的重视，我们引入了一种适应性记忆回放的框架来解决不断学习问题，通过多臂赌博机问题的方法来动态选择训练数据，从而在保持高性能的同时减少了遗忘达 10%。

Apr, 2024