研究了 AI 发展中的一个主要障碍，即模型快速解决新问题的能力欠佳且容易忘记先前获得的知识。提出了一种基于连续数据的模型学习评估指标并提出了 Gradient Episodic Memory (GEM) 模型，它可以减轻模型遗忘的问题并允许将知识传递到以前的任务中。实验表明，相对于现有技术水平，GEM 表现良好。

Jun, 2017

本篇研究论文围绕序列监督学习中的参数化终身学习系统中的主要挑战 —— 灾难性遗忘和容量饱和进行了研究，并提出了一种基于课程的简单明了的评估标准，用于在不断增加难度的任务上对模型进行训练和测试。研究提出了两个网络模型 Gradient Episodic Memory 和 Net2Net，将它们统一起来，并将其应用于递归神经网络，验证了这种方法在终身学习环境中的适用性。

Nov, 2018

本文提出一个高效的元学习框架，将终身学习的三个普遍原则相结合，以有效地训练同时避免灾难性遗忘和负迁移，并达到与多任务学习相当的性能。

Oct, 2020

通过使用基于在线聚类的方法解决连续学习中的灾难性遗忘问题，成功地应用于域增量学习，并展示了这种方法在真实数据集上的有效性及与最先进方法的优越性能。

Sep, 2023

本文研究目前终身学习方法的效率，提出了一种新的、更现实的评估协议，提出了一个新的度量学习者获取新技能的速度的指标，改进了 GEM，称为 A-GEM，展示了所有算法，包括 A-GEM，如果它们提供指定的分类任务的任务描述符，可以更快地学习。实验表明，A-GEM 在准确性和效率之间有最好的权衡。

Dec, 2018

我们提出了一种新的回放策略，称为 Manifold Expansion Replay (MaER)，通过扩展知识表示的隐含流形，改善模型的鲁棒性和表达能力，以解决在学习新任务过程中由于老知识和新知识之间不平衡导致的灾难性遗忘问题。我们通过对 MNIST、CIFAR10、CIFAR100 和 TinyImageNet 进行广泛实验验证，表明提出的方法在继续学习设置中显著提高了准确性，优于现有技术水平。

Oct, 2023

提出一种生命化语言学习的模型，其中采用了 “稀疏经验回放” 和 “本地适应” 以减轻灾难性遗忘，并将这种情况应用于文本分类和问题回答中，证明了这种模型的优越性，同时表明通过随机选择存储在内存中的样本可以大大减少经验记忆模块的空间复杂度，并认为经验记忆组件是构建通用语言智能的重要组成部分。

Jun, 2019

本研究提出了一种双重记忆架构模拟人类大脑的海马体和新皮层系统，通过经验的生成重放的记忆巩固，避免神经网络在顺序任务中的灾难性遗忘现象，进而实现连续学习并展示出哺乳类记忆的很多特征。

Oct, 2017

本文提出了一种基于累计的闭环记忆重放生成对抗网络的方案，并引入了外部正则化进行最大样本多样性的小型内存单元。实验结果表明，在使用动态内存单元的条件下，该方案在处理硬任务学习方面具有很高的性能增长。

Nov, 2018

本文提出一种新的深度学习框架 Deep Generative Replay 来解决在实现万能人工智能时的一个长期问题：灾难性遗忘。通过引入灵感于灵长类大脑海马体的短期记忆系统，在该框架中包含一个生成模型和一个任务求解模型，并在图像分类任务中进行了相关实验和测试。

May, 2017