关于在代码的预训练语言模型中使用连续学习以实现针对分布外的泛化

May, 2023

关于在代码的预训练语言模型中使用连续学习以实现针对分布外的泛化

On the Usage of Continual Learning for Out-of-Distribution Generalization in Pre-trained Language Models of Code

Martin Weyssow, Xin Zhou, Kisub Kim, David Lo, Houari Sahraoui

TL;DR本文提出可解决 Pre-trained language models 在软件代码动态环境下 catastrophic forgetting 问题的五种 continual learning methods，并在两个 downstream tasks 中取得可比较或优越的表现。

Abstract

pre-trained language models (PLMs) have become a prevalent technique in deep learning for code, utilizing a two-stage pre-training and fine-tuning procedure to acquire general knowledge about code and specialize in a variety of downstream tasks. However, the dynamic nature of software

pre-trained language models distribution shift non-stationary environment continual learning approaches catastrophic forgetting

发现论文，激发创造

终身预训练：持续适应新出现的语料库的语言模型

本研究通过使用不同的持续学习算法对预先训练的语言模型进行不断的增量预训练，并通过评估模型对新数据的适应能力以及对早期数据所学知识的保留能力来研究生命周期语言模型预训练挑战，结果表明采用基于蒸馏的方法可以最有效地保留早期领域的下游任务性能。这些算法还可以提高知识转移能力，使模型在最新数据上实现更好的下游性能，并在由于时间而存在训练和评估之间的分布差异时，提高时态的泛化能力。

Oct, 2021

使用预训练模型的不断学习：调查

本文是对基于预训练模型的持续学习最新进展的综合调查，将现有方法分为三组进行分类，提供了它们的相似性、差异性、以及各自的优缺点的比较分析，并通过实证研究对比了各种最先进的方法，以凸显比较中公平性方面的关注点。

Jan, 2024

使用 PLMs 重新审视少样本意图分类：直接微调 vs. 连续预训练

本文针对少样本意图检测任务进行研究，提出一种新的方法，即直接在少量标记数据上对预训练语言模型（PLMs）进行微调，使用上下文增强方法和序列自蒸馏技术进一步优化性能。实验表明，该方法优于许多强基线方法，甚至是在只有每类两个或更多标记样本的情况下。

Jun, 2023

大规模语言模型的持续学习：一项综合调研

对大型语言模型在持续学习、预训练、微调以及评估协议方面进行综述.

Apr, 2024

可回收的连续预训练调优

本文探讨了在模型不断学习的情况下，对于更新的预训练模型如何对过期的调整权重进行回收利用，提出了初始化和蒸馏两种方法用于解决该问题，提高了模型的收敛速度和性能。

May, 2023

提高预训练语言模型的泛化能力

预训练语言模型 (PLMs) 的可重用性常受到其泛化问题的限制，该问题表现为在评估与训练数据集不同的示例时，性能显著下降，被称为离群 / 未知示例。本文提出了一种名为 Mask-tuning 的训练方法，通过将掩码语言建模 (MLM) 训练目标整合到微调过程中，提高了 PLMs 的泛化能力。全面的实验证明，Mask-tuning 超越了当前最先进的技术，并增强了 PLMs 在离群数据集上的泛化能力，同时提高了它们在分布数据集上的性能。研究结果表明，Mask-tuning 改善了 PLMs 在未知数据上的可重用性，使其在实际应用中更加实用和有效。

Jul, 2023

对齐的大型语言模型连续预训练中的遗忘现象研究

连续预训练中灾难性遗忘现象对于已经经过微调的大规模语言模型的影响及重复问题的挑战。

Jan, 2024

基于基石语言模型的持续学习的最新进展：综述

最近，基础语言模型（LMs）在自然语言处理（NLP）和计算机视觉（CV）领域取得了重要的成就。然而，由于灾难性遗忘的原因，它们仍然无法模拟类似人类的连续学习。为了解决这个问题，已经开发了各种基于连续学习（CL）的方法来改进 LMs，并使其能够适应新任务而不会遗忘以前的知识。然而，目前对现有方法的系统分类和性能比较仍然缺乏，这是我们调查的空白。我们对基础语言模型中应用的基于 CL 方法的现有文献进行了全面回顾、总结和分类，如预训练语言模型（PLMs）、大型语言模型（LLMs）和视觉语言模型（VLMs）。我们将这些研究分为离线 CL 和在线 CL，其中包括传统方法、基于参数效率的方法、基于指令调优的方法和连续预训练方法。离线 CL 包括领域增量学习、任务增量学习和类增量学习，而在线 CL 又分为困难任务边界和模糊任务边界设置。此外，我们概述了 CL 研究中使用的典型数据集和度量标准，并详细分析了 LMs-based 连续学习的挑战和未来工作。

May, 2024

简单且可扩展的策略，用于持续预训练大型语言模型

大型语言模型的持续学习策略可以通过简单且可扩展的方法成功更新模型，同时只需使用一小部分计算资源来达到重新训练的效果。

Mar, 2024

大型语言模型的持续学习：一项调研

该论文调研了关于大型语言模型（LLMs）的持续学习方面的最新工作，提出了一种新颖的多阶段分类方案，涉及持续预训练、指令调整和对齐；对 LLMs 的持续学习与更简单的小模型的适应方法以及其他增强策略进行对比；同时，在讨论基准和评估的基础上，提出了几个挑战和未来工作方向。

Feb, 2024