本文通过探讨NLP中的各种任务，分析了现有神经网络模型中的CL问题，并对现有的CL评估方法和数据集进行了批判性评论，最后展望了未来的研究方向。
Dec, 2020
通过自我监督预训练不断学习的大型语言模型，可以在多个数据集上持续学习并保持先前任务的良好性能，同时展示新的组合方式。
May, 2022
本综述全面回顾了自然语言处理领域中持续学习的最新进展，包括现有技术的分类、遗忘和知识迁移问题、未来发展方向。
Nov, 2022
该研究提出了三种知识蒸馏方法，通过应用于声音编码器(audio-KD)和解码器(tok-KD和seq-KD)以解决神经网络在非稳态环境下学习新概念的问题，特别应用于连续学习等领域的口语理解问题。结果表明，seq-KD可以显著提高性能，并与audio-KD的结合进一步降低了平均WER并增强了实体预测指标。
May, 2023
该研究针对持续学习中的指令调整问题建立了一个基准，并通过研究对话任务流的方法系统地研究了不同的持续学习方法。实验结果显示现有的持续学习方法未能充分利用丰富的自然语言指令，顺序微调指令调整模型可以产生相似或更好的效果。研究进一步探索了可能影响指令调整学习的不同方面。希望该基准能够促进这个研究方向的更多研究。
Oct, 2023
该论文调研了关于大型语言模型（LLMs）的持续学习方面的最新工作，提出了一种新颖的多阶段分类方案，涉及持续预训练、指令调整和对齐；对LLMs的持续学习与更简单的小模型的适应方法以及其他增强策略进行对比；同时，在讨论基准和评估的基础上，提出了几个挑战和未来工作方向。
Feb, 2024
这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了LLMs在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知识转移和模型大小的若干关键见解。
该研究引入了可扩展语言模型（SLM）来解决现有方法在实际应用中遇到的限制和挑战，通过联合自适应重参数化（JARe）和动态任务相关知识检索（DTKR），实现了语言模型的自适应调节，从而在广泛的应用领域中实现了有效的持续学习。
Apr, 2024
对大型语言模型在持续学习、预训练、微调以及评估协议方面进行综述.
通过L1归一化的输出幅度分布来约束梯度更新过程，我们提出了一种无需回放和任务标签的方法MIGU（基于幅度的渐进学习梯度更新），以释放语言模型的内在连续学习能力。实验证明MIGU对于所有三种语言模型架构（T5，RoBERTa和Llama2）普遍适用，在四个连续学习基准测试中，在连续微调和连续预训练设置下，提供了最先进或不相上下的性能。
Jun, 2024