梯度定位改善语言模型的终身预训练

Nov, 2024

梯度定位改善语言模型的终身预训练

Gradient Localization Improves Lifelong Pretraining of Language Models

Jared Fernandez, Yonatan Bisk, Emma Strubell

TL;DR本研究解决了语言模型中知识局部化存储机制不明确的问题，尤其针对时间敏感实体的两种知识类型，发现它们在模型的不同参数集中定向存储。提出通过关注知识的局部性来改进连续学习方法，从而提高了对新信息的获取和减少了以往信息的灾难性遗忘，验证了在具有时间漂移的语言中，通过针对性更新相关层的参数可显著提升预训练性能。

Abstract

Large Language Models (LLMs) trained on web-scale text corpora have been shown to capture world knowledge in their parameters. However, the mechanism by which Language Models store different types of knowledge is

发现论文，激发创造

不断学习，快速泛化：少样本学习的终身知识积累

该研究提出了一个新的学习框架CLIF，可以在不断更新的多个NLP任务中提高模型的泛化能力，同时保留早期任务的表现，作者使用了多种方法对该框架进行了评估，并提出了一种新的适配器生成方法。

Apr, 2021

语言模型的持续知识学习

本文提出了一种新的连续学习问题——连续知识学习，并构建了一个新的数据集和指标，用于衡量时间不变世界知识的保留，过时知识的更新和新知识的获取。通过实验发现，该问题的关键在于对抗知识遗忘和参数扩展，因此对于更好地维护不断变化的大型语言模型非常重要。

Oct, 2021

终身预训练：持续适应新出现的语料库的语言模型

本研究通过使用不同的持续学习算法对预先训练的语言模型进行不断的增量预训练，并通过评估模型对新数据的适应能力以及对早期数据所学知识的保留能力来研究生命周期语言模型预训练挑战，结果表明采用基于蒸馏的方法可以最有效地保留早期领域的下游任务性能。这些算法还可以提高知识转移能力，使模型在最新数据上实现更好的下游性能，并在由于时间而存在训练和评估之间的分布差异时，提高时态的泛化能力。

Oct, 2021

精细调整的语言模型是持续学习者

通过自我监督预训练不断学习的大型语言模型，可以在多个数据集上持续学习并保持先前任务的良好性能，同时展示新的组合方式。

May, 2022

通过主动遗忘预训练以提高语言可塑性

本文提出使用主动遗忘机制作为预训练过程中的一种简单方法，以创建能够快速适应新语言的PLMs。实验证明，与标准模型相比，在资源匮乏的情况下，使用遗忘机制的预先训练模型不仅在语言适应过程中表现出更快的收敛速度，而且在特别是对于与英语不同的语言来说表现更佳。

Jul, 2023

对齐的大型语言模型连续预训练中的遗忘现象研究

连续预训练中灾难性遗忘现象对于已经经过微调的大规模语言模型的影响及重复问题的挑战。

Jan, 2024

大型语言模型的持续学习：一项调研

该论文调研了关于大型语言模型（LLMs）的持续学习方面的最新工作，提出了一种新颖的多阶段分类方案，涉及持续预训练、指令调整和对齐；对LLMs的持续学习与更简单的小模型的适应方法以及其他增强策略进行对比；同时，在讨论基准和评估的基础上，提出了几个挑战和未来工作方向。