Mar, 2022

DeepNet: 将 Transformer 扩展至 1,000 层

PDF
TL;DR通过引入新的归一化函数（DeepNorm）来修改 Transformer 中的残差连接，并进行理论分析，提出了一种简单而有效的方法来稳定极深的 Transformers 模型。 该方法结合了 Post-LN 的优秀性能和 Pre-LN 的稳定训练，并成功将 Transformers 模型扩展到 1000 层。在多语言基准测试中，使用 DeepNorm 和 3.2B 参数的 200 层模型比使用 12B 参数的 48 层最先进模型高 5 BLEU 点。
transformersdeepnormstabilizationpre-lnmultilingual
发现论文，激发创造
  • BranchNorm: 极深 Transformer 网络的鲁棒缩放

    本文提出了一种名为 BranchNorm 的方法，用于以更好的效果平衡训练稳定性和收敛性来动态重新调整 Transformer 的分支。

    May, 2023

  • FoundationLayerNorm: 将 BERT 和 GPT 扩展至 1,000 层

    本研究提出了一种简单有效的方法，使用 FoundationLayerNormalization 可以实现深度学习神经网络的高效训练。作者成功地将 BERT 和 GPT 升级到 1,000 层，比之前的模型深度大数个数量级。

    Apr, 2022

  • 论 Transformers 中的层标准化与残差连接

    研究表明，在使用深层 Transformers 训练时，Post-LN 有时会出现不稳定的情况，而 Pre-LN 的表现则相对更好，但在浅层 Transformers 中，Post-LN 的表现一直优于 Pre-LN。本文发现，Post-LN 的 LN 是导致不稳定训练的原因，而 Pre-LN 则可以防止这种情况。同时，在反向传播中，Post-LN 会保持更大的梯度范数，从而实现有效训练。基于这些发现，我们提出了一种简单修改后的方法，比 Pre-LN 更稳定，并在各种文本生成任务中表现出色。

    Jun, 2022

  • 不含泪的 Transformer: 改进自注意力的规范化

    通过 PreNorm、ScaleNorm 和 FixNorm 三种方法的应用，能够加速模型训练，使其更加稳定，从而在五种低资源的翻译对中得到了 1.1 BLEU 的提升并在 IWSLT'15 上获得 32.8 BLEU 的表现。

    Oct, 2019

  • 深度变换器与潜在深度

    本研究提出一种概率框架来自动学习选择哪些层来使用以优化 Transformer 模型的性能，用于训练一种适用于多语言机器翻译的共享 Transformer 网络，缓解梯度消失问题，从而使得深度 Transformer 网络（例如 100 层）稳定训练，并在机器翻译和语言建模任务中实现了更好的性能。

    Sep, 2020

  • 通过深度缩放初始化和合并注意力改进深度 Transformer

    本文研究了 NLP 中 Transformers 的深度网络结构存在的一些问题，提出了使用 DS-Init 和 MAtt 方法来解决梯度消失和计算效率问题，实验证明这些方法可以有效提升机器翻译的 BLEU 值。

    Aug, 2019

  • 机器翻译的深度 Transformer 模型学习

    本篇研究论文提出了一种通过适当使用层归一化技术以及一种新的传递先前层组合方法，在机器翻译任务中，构建比 Transformer-Big 模型更深层的 Transformer 模型，并在 WMT'16 英德、NIST OpenMT'12 中英和更大的 WMT'18 中英任务中将深层系统（30/25 层编码器）与浅层 Transformer-Big / 基线（6 层编码器）相比，BLEU 分数提高了 0.4-2.4 点，而且深度模型的大小更小 1.6 倍并且训练速度更快 3 倍。

    Jun, 2019

  • LongNet: 将 Transformer 扩展到 10 亿个标记

    LongNet 是 Transformer 的一种变体，引入了扩张注意力（dilated attention）来扩展序列长度，使其能够处理超过 10 亿个标记的序列，同时不会牺牲短序列的性能表现。

    Jul, 2023

  • 深度变换器用于神经机器翻译

    本文探讨了非常深的 Transformer 模型在神经机器翻译中的应用，使用一种简单但有效的初始化技术来稳定训练，我们证明了可行性，并且通过使用 60 个编码器层和 12 个解码器层，此类深度模型在 WMT14 英法和英德翻译基准上录得了比基准浅层模型高达 2.5 BLEU 的结果（其中包括通过回译得到的 46.4 BLEU 以及 30.1 BLEU），代码和训练模型将在公开网站上开放。

    Aug, 2020

  • 在小数据集上优化深度 Transformer

    本文指出对于少量数据集的挑战性任务，如文本到 SQL 语义解析和逻辑阅读理解等，使用预训练模型进行微调是不必要的。通过新型数据依赖 Transformer 固定更新初始化方案（DT-Fixup），我们成功训练了由 48 个 transformers 层组成的模型，在无具体预训练的情况下，只需少量的训练步骤，就可以在挑战性的交叉领域文本到 SQL 解析基准 Spider 上实现最先进的性能。

    Dec, 2020