本综述全面回顾了自然语言处理领域中持续学习的最新进展，包括现有技术的分类、遗忘和知识迁移问题、未来发展方向。

Nov, 2022

提出了一种新颖的连续学习（CL）框架，通过使用有限容量的内存保存先前观察到的环境信息以减轻遗忘问题，并从内存中采样数据点来估计环境变化的风险分布，从而获得对未知变化具有鲁棒性的预测器。实验表明，该算法在所有环境中优于基于内存的 CL 基线，并显著提高了在未知目标环境中的泛化性能。

Sep, 2023

本文通过探讨 NLP 中的各种任务，分析了现有神经网络模型中的 CL 问题，并对现有的 CL 评估方法和数据集进行了批判性评论，最后展望了未来的研究方向。

Dec, 2020

本研究提出了一个基于交互式重复参考任务的连续学习框架，以更准确和高效地与伙伴通信，并通过 COCO 的模拟和与人类伙伴的实时参考游戏实验进行了评估。

Nov, 2019

该研究提出了一个新的学习框架 CLIF，可以在不断更新的多个 NLP 任务中提高模型的泛化能力，同时保留早期任务的表现，作者使用了多种方法对该框架进行了评估，并提出了一种新的适配器生成方法。

Apr, 2021

本研究探讨了实体代理通过语言指令执行日常任务的学习过程，提出了两种持续学习设置（行为增量学习和环境增量学习），并使用置信度感知滑动平均方法（CAMA）更新过去任务的信息，从而在实证验证中取得比现有方法更好的效果。

Mar, 2024

通过自我监督预训练不断学习的大型语言模型，可以在多个数据集上持续学习并保持先前任务的良好性能，同时展示新的组合方式。

May, 2022

提出了 Continual World 基准，并进行了基于机器人任务的方法评估，该评估针对 Continual learning 中的前向迁移和 Catastrophic forgetting 进行优化，以提高方法在 RL 中的性能。

May, 2021

本文介绍了一种基于最新的神经网络连续学习技术的领域无关的神经对话模型，同时提出了一种新颖的神经连续学习算法，能够以数据 - 效率的方式跨越不同任务积累技能，在客户支持领域通过从合成对话或人类之间的对话到人 - 计算机对话的连续技能转移来验证方法的功效。

Dec, 2017

基于 2D 迷宫世界，通过虚拟代理学习语言的模型，将语言的生成与理解与其他计算流程分离，从而成功地解决新单词出现的问题。模型可以解释人类可理解的中间输出结果，大幅优于其他五种比较方法。

Jan, 2018