Oct, 2023

GrowLength: 通过逐步增长训练长度来加速 LLMs 预训练

PDF
TL;DR通过增加训练长度加速大型语言模型 (LLL) 的预训练过程，从而提高效率、减少计算成本，并改善性能。
large language modelspretraining accelerationcomputational costsefficiency gainperformance metrics
发现论文，激发创造
  • 堆叠您的 Transformer：深入研究用于高效 LLM 预训练的模型扩展

    LLM 预训练中，模型增长方法和深度叠加算子 G_stack 被证明在训练加速、性能提升和可扩展性方面具有潜力。

    May, 2024

  • 简单且可扩展的策略，用于持续预训练大型语言模型

    大型语言模型的持续学习策略可以通过简单且可扩展的方法成功更新模型，同时只需使用一小部分计算资源来达到重新训练的效果。

    Mar, 2024

  • XL3M：一种基于分段推理的无需训练的 LLM 长度扩展框架

    用 XL3M 框架，将上下文分解成多个独立片段并通过衡量其与 “问题” 的相关性来构建一个简明的关键上下文，从而解决了大语言模型在处理超长文本时的泛化失败问题，并在推理任务中展现了卓越的性能。

    May, 2024

  • 面对 Token 危机下放大 LLM：重复还是不重复的思考

    本研究旨在通过重复预训练数据来加强大型语言模型。然而，该方法容易导致过拟合，除非使用适当的正则化方法，其中最有效的是 dropout。同时，本研究还探索了数据集大小，模型参数和训练目标等因素对多重训练期恶化的影响，以及混合专家方法如何提高密集大型语言模型的计算效率和性能。

    May, 2023

  • 通过掩码形态生长加速两倍的语言模型预训练

    本文主要介绍了一种名为 msg 的技术，提出了一种新的增长调度方案，其中包括所有可能的尺寸，并且是独立于新权重初始化的严格函数保持增长运算符。实验证明，与相关工作相比，MSG 速度提高了 80％的 Bert-base 和 120％的 Bert-large 预训练，并且能够同时提高调优性能

    May, 2023

  • 基础模型的长文本推理能力优化

    我们介绍了一系列支持高达 32,768 个令牌的有效上下文窗口的长上下文 LLMs。通过从 Llama 2 开始的持续预训练，我们的模型系列是在更长的训练序列和上采样长文本的数据集上构建的。我们在语言模型、合成上下文探索任务以及广泛的研究基准上进行了广泛的评估。在研究基准上，我们的模型在大多数常规任务上均取得了一致的改进，并在长上下文任务上相对于 Llama 2 取得了显著的提升。值得注意的是，通过一种耗时效率高且不需要人工注释长指导数据的指令调整过程，70B 变体已经超过了 gpt-3.5-turbo-16k 在一套长上下文任务中的整体性能。除了这些结果，我们对我们方法的各个组成部分进行了深入分析。我们深入研究了 Llama 的位置编码，并讨论了它在建模长依赖性方面的局限性。我们还研究了预训练过程中各种设计选择的影响，包括数据混合和序列长度的训练课程 - 我们的消融实验表明，在预训练数据集中有大量长文本并不是达到强大性能的关键，我们从经验上验证了长上下文持续预训练相对于从头开始的长序列预训练更高效且同样有效。

    Sep, 2023

  • 数据集分解：使用可变序列长度课程进行更快的 LLM 训练

    通过数据集分解、变长序列训练技术、性能增强等方法，实现了对大型语言模型的高效训练和提升。

    May, 2024

  • InfLLM: 揭示 LLM 对于无需训练的记忆理解极长序列的内在能力

    通过引入一种无需训练的基于内存的方法 InfLLM，使得大型语言模型 (LLM) 能够高效处理长序列并捕获远距离依赖关系。

    Feb, 2024

  • 大型语言模型的持续预训练：如何（重新）热启动您的模型？

    这项研究考察了不同预热策略对大型语言模型的影响，发现重启模型预热可以提高下游性能，即使在大型下游数据集中也优于从头开始训练的模型。

    Aug, 2023

  • E^2-LLM：大型语言模型的高效和极端长度扩展

    我们提出了一种名为 E2-LLM 的高效和极长扩展的大型语言模型方法，通过减少计算成本并对不同样本进行增强方法来在推理时支持任意上下文长度，实验结果表明其在具有挑战性的长上下文任务中的有效性。

    Jan, 2024