大规模语言模型的持续学习：一项综合调研
本研究通过使用不同的持续学习算法对预先训练的语言模型进行不断的增量预训练，并通过评估模型对新数据的适应能力以及对早期数据所学知识的保留能力来研究生命周期语言模型预训练挑战，结果表明采用基于蒸馏的方法可以最有效地保留早期领域的下游任务性能。这些算法还可以提高知识转移能力，使模型在最新数据上实现更好的下游性能，并在由于时间而存在训练和评估之间的分布差异时，提高时态的泛化能力。
Oct, 2021
DynaMind是一种新颖的连续学习框架，旨在解决大语言模型（LLMs）的训练困难、知识融入问题，并提高输出准确性。通过引入记忆机制和模块化操作符，DynaMind能够有效克服这些挑战。
Oct, 2023
该论文调研了关于大型语言模型（LLMs）的持续学习方面的最新工作，提出了一种新颖的多阶段分类方案，涉及持续预训练、指令调整和对齐；对LLMs的持续学习与更简单的小模型的适应方法以及其他增强策略进行对比；同时，在讨论基准和评估的基础上，提出了几个挑战和未来工作方向。
Feb, 2024
这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了LLMs在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知识转移和模型大小的若干关键见解。
Feb, 2024
通过“从错误中总结”的学习技巧，我们提出了继续从错误中演进的方法(CEM)来实现对大型语言模型的迭代改进，从而解决其知识缺陷问题。我们通过采集涉及问题相关的知识的多个数据源，进行连续、有针对性的知识更新和补充，同时开发了两种策略来构建补充训练集，以增强语言模型对语料库的理解能力并防止灾难性遗忘。通过广泛实验验证了该方法的有效性，最佳情况下，该方法使语言模型的准确性提高了17.00%。
Apr, 2024
最近，基础语言模型（LMs）在自然语言处理（NLP）和计算机视觉（CV）领域取得了重要的成就。然而，由于灾难性遗忘的原因，它们仍然无法模拟类似人类的连续学习。为了解决这个问题，已经开发了各种基于连续学习（CL）的方法来改进LMs，并使其能够适应新任务而不会遗忘以前的知识。然而，目前对现有方法的系统分类和性能比较仍然缺乏，这是我们调查的空白。我们对基础语言模型中应用的基于CL方法的现有文献进行了全面回顾、总结和分类，如预训练语言模型（PLMs）、大型语言模型（LLMs）和视觉语言模型（VLMs）。我们将这些研究分为离线CL和在线CL，其中包括传统方法、基于参数效率的方法、基于指令调优的方法和连续预训练方法。离线CL包括领域增量学习、任务增量学习和类增量学习，而在线CL又分为困难任务边界和模糊任务边界设置。此外，我们概述了CL研究中使用的典型数据集和度量标准，并详细分析了LMs-based连续学习的挑战和未来工作。
May, 2024