Jul, 2024

跨语言持续预训练在规模上的突破

PDF
TL;DR本文研究了以持续预训练（CPT）的方式构建新语言的大型语言模型（LLMs），并通过 40 个模型规模的并行实验表明：1）CPT 能够快速收敛并以可扩展的方式节省大量计算资源；2）CPT 遵循 Hoffmann 等人（2022）提出的扩展缩放定律，具有联合数据 - 参数缩放项；3）根据估计的扩展因子，CPT 的计算最优数据 - 参数分配存在显著差异；4）在训练持续时间和语言属性的影响下，规模化的迁移效果可以通过数据重播的方法有效减轻灾难性遗忘。希望我们的发现对研究界在规模化 LLMs 的可迁移性方面提供深入的见解。
large language modelscontinually pretrainingscaling lawdata-parameter allocationtransferability
发现论文，激发创造
  • 通过持续预训练并行数据提高大型语言模型的翻译准确性

    通过两阶段训练方法，即不断在并行数据上预训练大型语言模型并在少量高质量并行数据上进行有监督微调，我们证明了这种方法的有效性。我们的研究表明，在并行数据的持续预训练中，在源句和目标句之间交替使用是至关重要的。此外，我们还证明了基于 LLM 的翻译模型在口语语言翻译中更加稳健，在使用更少的训练数据时可以达到更高的准确性，相较于有监督的编码器 - 解码器模型。最高的准确性在于持续预训练数据包括交替的源句和目标句以及在源句中添加标签时实现。

    Jul, 2024

  • 增强大型语言模型的翻译能力的新范式

    本文介绍了一项关于增强大型语言模型（LLMs）在机器翻译（MT）任务中翻译能力的研究，提出了一个包括三个阶段的新范 Paradigm，通过使用大量的单语数据进行二次预训练、使用互译文本格式文档进行连续预训练，以及利用和源语言一致的指导来进行监督微调。实验结果表明，我们的方法在翻译能力方面取得了显著的改进，超过了以前的工作，并在参数数量较小的情况下实现了优越的性能。

    Mar, 2024

  • 极低资源神经机器翻译的连续混合语言预训练

    本文提出了一种连续预训练 (CPT) 框架来应对低资源语言中看不见的语言，通过使用目标语言的单语语料库构建混合语言文本并继续对 mBART 进行预训练以优化低资源翻译任务，结果表明我们的方法能够持续提高翻译性能。

    May, 2021

  • 大规模语言模型的持续学习：一项综合调研

    对大型语言模型在持续学习、预训练、微调以及评估协议方面进行综述.

    Apr, 2024

  • 跨语言和渐进式迁移学习实现高效的语言模型训练

    介绍了一种名为 CLP-Transfer 的跨语言和渐进式迁移学习方法，将预训练模型从一个源语言转移到一个新的目标语言，实现了资源高效的训练，同时解决了资源不足的语言之间的表现差距问题，并比单纯的跨语言传输要好。

    Jan, 2023

  • D-CPT 法：针对大型语言模型的领域专用持续预训练规模定律

    基于尺度定律的领域特定持续预训练法 (D-CPT Law) 可用于预测不同尺寸的语言模型的理想混合比例，以及交叉领域的 D-CPT Law 可用于目标领域的预测，不同尺寸和数据集尺寸的训练成本相对较低。

    Jun, 2024

  • 大型语言模型中的连续预训练探索：洞见与影响

    这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了 LLMs 在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知识转移和模型大小的若干关键见解。

    Feb, 2024

  • 跨语言 LLM 自适应持续预训练：增强日语语言能力

    本研究通过跨语言连续预训练来提升大规模语言模型的日语能力，并扩展了词汇表以包括日语字符，通过在大规模网页语料库上进行连续预训练，结果表明，Swallow 在日语任务上的性能显著提高，并且随着训练数据量的增加而逐渐增强，相比从头开始训练的其他英日语言模型，Swallow 表现出较优异的性能。同时，研究还探究了从英语到日语的跨语言连续预训练的有效方法，发现词汇扩展对性能的效果除了摘要任务外没有负面影响，且使用平行语料库可以提高翻译能力。

    Apr, 2024

  • 通过减小稳定性差距来实现高效的持续性预训练

    持续预训练是适应大型语言模型（LLM）到新领域的主要方法之一，研究探讨了在这个过程中 LLM 的行为和性能，提出了三种有效策略来增强 LLM 在固定计算资源下的性能，经实验证实这些策略在医学任务性能和通用任务性能方面均取得了令人满意的成果。

    Jun, 2024

  • 简单且可扩展的策略，用于持续预训练大型语言模型

    大型语言模型的持续学习策略可以通过简单且可扩展的方法成功更新模型，同时只需使用一小部分计算资源来达到重新训练的效果。

    Mar, 2024