ACLOct, 2020

渐进式 BERT 训练中的 Transformer 增长

PDF
TL;DR本文旨在通过对 Transformer 增长的探索来指导渐进式训练，发现复合缩放方法可以平衡模型的深度、宽度和输入的长度，并通过比较实验探索每个维度的替代增长操作，最终使 BERT 的预训练加快 73.6％（基本模型）和 82.2％（大模型），并达到相当的性能。
large-scale language modelprogressive trainingtransformer growthcompound scalingbert pre-training
发现论文，激发创造
  • 学习如何扩展预训练模型以进行高效 Transformer 训练

    通过对预训练的 transformer 的参数学习，使用线性变换因子初始化更大的模型，实现更快的 transformer 训练，并且减少了高达 50% 的计算成本。

    Mar, 2023

  • Transformer 语言模型分阶段训练

    本文提出了一种基于阶段训练和生长算子的语言模型训练方法，通过增加模型的深度和宽度以节省计算资源，并利用缩放定律和训练动态来优化训练阶段，实验结果显示与基于随机初始化的传统模型相比，该方法能够实现高达 22% 的计算资源节省。

    Mar, 2022

  • 通过掩码形态生长加速两倍的语言模型预训练

    本文主要介绍了一种名为 msg 的技术，提出了一种新的增长调度方案，其中包括所有可能的尺寸，并且是独立于新权重初始化的严格函数保持增长运算符。实验证明，与相关工作相比，MSG 速度提高了 80％的 Bert-base 和 120％的 Bert-large 预训练，并且能够同时提高调优性能

    May, 2023

  • 利用渐进式层丢弃加速基于 Transformer 的语言模型训练

    本文提出了基于渐进式层丢弃的方法，通过模型结构和训练技术的提升效率，加速了基于 Transformer 的语言模型的训练，相较于基准实验可以在每个样本上平均节省 24% 的时间，让预训练速度提高 2.5 倍，同时保持强的知识可迁移性。

    Oct, 2020

  • 加速训练 Transformer 模型的多层框架

    我们提出了一个多层框架，通过合并和解散以及插值操作来加速训练，从而降低了 BERT/GPT-Base 模型的计算成本约 20%，以及 BERT-Large 模型的计算成本高达 51.6%，同时保持了性能。

    Apr, 2024

  • 高效扩展：基于预训练和微调的 Transformer 技术洞见

    本文提出了来自于预训练和微调 Transformer 的缩放见解，并展示了改进的缩放协议，使得重新设计的模型在 downstream fine-tuning 方面具有相似的质量，同时参数数量减少了 50％，训练速度比广泛采用的 T5-base 模型快了 40％。

    Sep, 2021

  • bert2BERT：面向可重用的预训练语言模型

    本文提出了 bert2BERT，通过参数初始化有效地将现有较小的预训练模型（如 BRET_BASE）的知识转移到大型模型（如 BERT_LARGE），并通过提出高级知识进一步改进大型模型的初始化以及两阶段预训练方法，以此显着提高大型模型的预训练效率，这个方法被证明要比从头开始训练，StackBERT 和 MSLT 并使用不同类型的预训练模型的基线方法显着节省训练成本，特别是 bert2BERT 通过重复使用几乎是其一半大小的模型，将 BERT_BASE 和 GPT_BASE 的预训练计算成本节省约 45% 和 47%。

    Oct, 2021

  • 训练大模型，压缩小模型：重新思考 Transformers 的高效训练与推断模型大小

    研究表明，即使较小的 Transformer 模型在每次迭代中执行更快，较宽且较深的模型在明显更少的步骤中收敛。此外，大型模型比小型模型更 robust，因此，高度压缩的大型模型实现比轻度压缩的小型模型更高的准确性

    Feb, 2020

  • 更多计算是您所需之物

    基于新的缩放定律，我们推测模型性能主要取决于计算经费的使用，而与模型大小和数据集大小的具体分配无关。根据统一的缩放定律，我们预测（a）训练应优先考虑较小的模型大小和较大的训练数据集以提高推理效率，（b）假设可用的网络数据集已耗尽，扩大模型大小可能是进一步改善模型性能的唯一途径。

    Apr, 2024

  • 堆叠您的 Transformer：深入研究用于高效 LLM 预训练的模型扩展

    LLM 预训练中，模型增长方法和深度叠加算子 G_stack 被证明在训练加速、性能提升和可扩展性方面具有潜力。

    May, 2024