本文提出了一个新的生命周期学习的方法，命名为记忆感知突触 (Memory Aware Synapses)，它计算神经网络参数的重要性，并根据重要性进行惩罚以防止重要知识被覆盖，这与大脑学习过程的 Hebb 规则有相关性。在物体识别任务和嵌入学习任务中，该方法表现出最先进的性能。
Nov, 2017
本文提出了一种双存储自组织架构用于实现终身学习，其中包含具有学习物体实例和类别的互补任务的两个增长式重复神经网络；通过在连续感官经历中扩展它们，这两个增长网络都能够提取出对未知数据更强的特征。
May, 2018
提出一种生命化语言学习的模型，其中采用了 “稀疏经验回放” 和 “本地适应” 以减轻灾难性遗忘，并将这种情况应用于文本分类和问题回答中，证明了这种模型的优越性，同时表明通过随机选择存储在内存中的样本可以大大减少经验记忆模块的空间复杂度，并认为经验记忆组件是构建通用语言智能的重要组成部分。
Jun, 2019
本文提出一个高效的元学习框架，将终身学习的三个普遍原则相结合，以有效地训练同时避免灾难性遗忘和负迁移，并达到与多任务学习相当的性能。
Oct, 2020
本文提出一种新的可扩展体系结构和训练算法解决 Deep Learning 在 lifelong learning 场景中面临的挑战，尤其是在训练时间和内存限制下存储经验的问题，并在性能评估中取得了显著提升。
本文介绍了一种新的学习模型 - 记忆网络，利用推理组件和长期记忆组件共同学习。这些模型可以用于问答型任务中，长期记忆作为动态知识库，输出为文本响应。在评估中表明记忆网络模型在问答中具有强大的推理能力。
Oct, 2014
使用认知科学理论作为参考，研究者构建了一种基于知识图谱的具有短期、情节和语义记忆系统的智能体，并通过深度 Q 学习方法来使这个智能体在自己设计的强化学习环境中学会如何驾驭记忆来最大效益地回答问题。结果表明，与没有类似记忆结构的智能体相比，拥有人类式记忆系统的智能体在该环境下的表现更为出色。
Dec, 2022
终身学习对于人类和动物至关重要，然而，在机器学习和神经网络模型中，随着不断获取非静态数据分布的信息，由于 “灾难性遗忘” 或干扰而面临着困难。本论文对于人类生物系统中的终身学习因素进行了总结，并比较了现有神经网络方法的差异。
Feb, 2018
本文介绍了长期记忆网络 (LTM) 以解决自然语言理解模型在处理长的序列文本时出现的问题。通过在语言建模任务上进行测试，我们发现 LTM 能够学习到无限长的序列信息，并与其他需要长时间记忆的语言模型进行比较。
May, 2023
本文从优化的角度提供了基于情节记忆方法的两种改进方案 MEGA-I 和 MEGA-II，这两个方案通过将当前梯度与在情节记忆上计算的梯度相结合，调节旧任务和新任务之间的平衡，并通过新的损失平衡更新规则，极大地提高了性能，在四个常用的终身学习基准测试中，将误差降低 18％。
Sep, 2019