通过 PreNorm、ScaleNorm 和 FixNorm 三种方法的应用，能够加速模型训练，使其更加稳定，从而在五种低资源的翻译对中得到了 1.1 BLEU 的提升并在 IWSLT'15 上获得 32.8 BLEU 的表现。

Oct, 2019

研究表明，在使用深层 Transformers 训练时，Post-LN 有时会出现不稳定的情况，而 Pre-LN 的表现则相对更好，但在浅层 Transformers 中，Post-LN 的表现一直优于 Pre-LN。本文发现，Post-LN 的 LN 是导致不稳定训练的原因，而 Pre-LN 则可以防止这种情况。同时，在反向传播中，Post-LN 会保持更大的梯度范数，从而实现有效训练。基于这些发现，我们提出了一种简单修改后的方法，比 Pre-LN 更稳定，并在各种文本生成任务中表现出色。

Jun, 2022

NormFormer 结构通过在每一层中添加三种规范化操作，即经过自注意力后的层规范化、自注意力输出的头缩放以及在第一个全连接层后的层规范化来解决 Pre-LayerNorm transformer 在预训练过程中梯度幅度失配的问题。与基线模型相比，NormFormer 无需额外计算成本 (+0.4% 参数增加），对不同规模的语言模型的预训练感知度和下游任务表现都有所改善。此外，NormFormer 结构能够在相同的计算预算下比基线模型更快达到相等的预训练感知度，或者以更小的预训练感知度达到更好的训练效果。用 NormFormer 结构进行的掩蔽语言建模可将预训练过程的 GLUE 性能提高 1.9%。

Oct, 2021

本文证明了学习率预热阶段对于 Post-LN Transformer 是必要的，并提出了一种新的 Pre-LN Transformer 结构，该结构无需预热阶段，同时具有与基线相当的性能，大大减少了训练时间和超参数调整。

Feb, 2020

通过引入新的归一化函数（DeepNorm）来修改 Transformer 中的残差连接，并进行理论分析，提出了一种简单而有效的方法来稳定极深的 Transformers 模型。 该方法结合了 Post-LN 的优秀性能和 Pre-LN 的稳定训练，并成功将 Transformers 模型扩展到 1000 层。在多语言基准测试中，使用 DeepNorm 和 3.2B 参数的 200 层模型比使用 12B 参数的 48 层最先进模型高 5 BLEU 点。

Mar, 2022

本文研究了神经网络（NN）和自然语言处理 (NLP) 中的标准归一化方法 —— 层归一化 (LN) 和在计算机视觉中广泛应用的批归一化（BN）之间的区别，分析了使用 BN 进行 NLP 任务时性能下降的原因，提出了一种通过放宽 BN 中的零均值正则化，引入运行时二次平均值稳定批次间波动并在前向传递中引入运行时高斯噪声的新型 Lp 归一化方法 (PN)，比 LN 和 BN 都表现更好。

Mar, 2020

本文提出了一种方法通过去除 Pre-LN Transformers 的冗余均值信息，将 LayerNorm 转化为 RMSNorm 以取得更高效率，进一步提出了一种基于无损压缩的 CRMSNorm Transformer， 实验证明，这种方法可将 Pre-LN Transformers 的训练和推断时间缩短高达 10%。

May, 2023

通过对涵盖 40 种语言的 1,560 个语言方向进行系统实验，我们发现目标端翻译质量是最具影响力的因素，词汇重叠一直对零射击性能产生影响，此外，语言的家族和书写系统等语言属性对于较小的模型具有一定作用。

Oct, 2023

本文表明，LayerNorm 是 Transformer 模型中 multi-head attention 层表现力的重要组成部分，其投影和缩放两个步骤对于注意力机制的作用至关重要。

May, 2023

通过跨语言预训练的双语预训练方法，建立了通用编码器，将传递者和接受者的语言空间对齐，使得零翻译成为可能。实验结果表明，该方法显著优于强的基准线和各种多语言 NMT 方法。

Dec, 2019