Nov, 2023

语言转变下的持续学习研究

HTML
PDF
TL;DR对于语言模型的预训练，更新模型而不是完全重新训练，可以在新数据不断增加时提供显著的收益。本文研究了在语言转移的情况下，当新的数据来自新的语言时，更新语言模型的利与弊。通过将挪威语和冰岛语等数据逐步添加到单语英语语言模型中，我们研究了不同模型规模和学习率计划者的前向传递和后向传递的影响，并发现前向传递主要是积极的且与语言顺序无关，而后向传递则取决于新语言的顺序和特点而可能是积极的或消极的。为了解释这些模式，我们探索了几种语言相似性度量，并发现句法相似性与我们的结果有最好的相关性。
发现论文，激发创造
  • 终身预训练：持续适应新出现的语料库的语言模型

    本研究通过使用不同的持续学习算法对预先训练的语言模型进行不断的增量预训练，并通过评估模型对新数据的适应能力以及对早期数据所学知识的保留能力来研究生命周期语言模型预训练挑战，结果表明采用基于蒸馏的方法可以最有效地保留早期领域的下游任务性能。这些算法还可以提高知识转移能力，使模型在最新数据上实现更好的下游性能，并在由于时间而存在训练和评估之间的分布差异时，提高时态的泛化能力。

    Oct, 2021

  • 多语言语言模型的单/跨语言预训练动态分析

    本研究旨在探究跨语言预训练模型的学习过程，发现该模型在语言内表现出较高的性能，复杂任务在低级语言技能前学习。添加不同的语言对跨语言转移的学习时机不同，并且最终模型层表现存在时间衰减现象，语言知识向网络底层传递。

    May, 2022

  • 精细调整的语言模型是持续学习者

    通过自我监督预训练不断学习的大型语言模型，可以在多个数据集上持续学习并保持先前任务的良好性能，同时展示新的组合方式。

    May, 2022

  • 迈向稳健高效的持续语言学习

    本文提出了一种针对任务序列的基准测试，旨在从持续学习和迁移学习的角度探讨如何快速适应新任务和模型微调策略。同时，提出了一种简单而有效的学习器，通过选择性策略初始化新模型并从过去的任务检查点中获得最大利用信息的能力。

    Jul, 2023

  • 大型语言模型的持续学习：一项调研

    该论文调研了关于大型语言模型（LLMs）的持续学习方面的最新工作，提出了一种新颖的多阶段分类方案，涉及持续预训练、指令调整和对齐；对LLMs的持续学习与更简单的小模型的适应方法以及其他增强策略进行对比；同时，在讨论基准和评估的基础上，提出了几个挑战和未来工作方向。

    Feb, 2024

  • 大型语言模型中的连续预训练探索：洞见与影响

    这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了LLMs在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知识转移和模型大小的若干关键见解。

    Feb, 2024

  • 简单且可扩展的策略，用于持续预训练大型语言模型

    大型语言模型的持续学习策略可以通过简单且可扩展的方法成功更新模型，同时只需使用一小部分计算资源来达到重新训练的效果。

    Mar, 2024

  • 大规模语言模型的持续学习：一项综合调研

    对大型语言模型在持续学习、预训练、微调以及评估协议方面进行综述.

    Apr, 2024

  • 跨语言持续预训练在规模上的突破

    本文研究了以持续预训练（CPT）的方式构建新语言的大型语言模型（LLMs），并通过40个模型规模的并行实验表明：1）CPT能够快速收敛并以可扩展的方式节省大量计算资源；2）CPT遵循Hoffmann等人（2022）提出的扩展缩放定律，具有联合数据-参数缩放项；3）根据估计的扩展因子，CPT的计算最优数据-参数分配存在显著差异；4）在训练持续时间和语言属性的影响下，规模化的迁移效果可以通过数据重播的方法有效减轻灾难性遗忘。希望我们的发现对研究界在规模化LLMs的可迁移性方面提供深入的见解。

    Jul, 2024

  • 重用而非重新训练：持续语言模型预训练的方案

    通过重复使用训练好的模型，以及使用高效的数据分布和学习率调度设计，我们在继续预训练的过程中相比于基准的预训练集继续训练，展示了平均模型准确率提高9%的改善，这一成果为发展语言模型提供了实用的起点。

    Jul, 2024