Apr, 2023

ResiDual：带有双重残差连接的 Transformer 模型

PDF
TL;DR本研究提出了一种新的 Transformer 结构 ResiDual，它融合了 Post-Layer-Normalization 和 Pre-Layer-Normalization 的优点，同时避免了它们的缺点，有效地解决了 Transformer 中残差连接的实现问题，并在多个机器翻译基准测试中取得了超过现有模型的优异表现，可以作为不同人工智能模型（例如大型语言模型）的基础架构。
发现论文，激发创造
  • 论 Transformers 中的层标准化与残差连接

    研究表明，在使用深层 Transformers 训练时，Post-LN 有时会出现不稳定的情况，而 Pre-LN 的表现则相对更好，但在浅层 Transformers 中，Post-LN 的表现一直优于 Pre-LN。本文发现，Post-LN 的 LN 是导致不稳定训练的原因，而 Pre-LN 则可以防止这种情况。同时，在反向传播中，Post-LN 会保持更大的梯度范数，从而实现有效训练。基于这些发现，我们提出了一种简单修改后的方法，比 Pre-LN 更稳定，并在各种文本生成任务中表现出色。

    Jun, 2022

  • 残差网络中的身份连接提高噪声稳定性

    本研究比较 ResNets 和 PlnNets 的训练效率、泛化能力、容错率等性能，并探讨了两者之间简化版本的等价性，进而猜测 ResNets 泛化能力更强的原因与其较高的噪音容错能力有关，并通过实验支持了该猜想。

    May, 2019

  • DeepNet: 将 Transformer 扩展至 1,000 层

    通过引入新的归一化函数（DeepNorm）来修改 Transformer 中的残差连接，并进行理论分析，提出了一种简单而有效的方法来稳定极深的 Transformers 模型。 该方法结合了 Post-LN 的优秀性能和 Pre-LN 的稳定训练，并成功将 Transformers 模型扩展到 1000 层。在多语言基准测试中，使用 DeepNorm 和 3.2B 参数的 200 层模型比使用 12B 参数的 48 层最先进模型高 5 BLEU 点。

    Mar, 2022

  • 双重残差网络利用配对操作的潜力进行图像恢复

    本文研究图像恢复任务的深度神经网络设计，提出了一种新颖的双残差连接风格，构建了具有双操作容器的模块化块，并采用 Veit 等提出的残差网络 ' 展开 ' 视图，构建完整的网络用于各个任务；实验结果表明，采用适当选择的操作的此方法在几乎所有任务和数据集上的表现优于以前的方法。

    Mar, 2019

  • Transformer 架构中的层标准化

    本文证明了学习率预热阶段对于 Post-LN Transformer 是必要的，并提出了一种新的 Pre-LN Transformer 结构，该结构无需预热阶段，同时具有与基线相当的性能，大大减少了训练时间和超参数调整。

    Feb, 2020

  • RealFormer: 喜欢残差注意力的 Transformer

    提出了一种名为 RealFormer 的技术，可以创建残差注意力层的 Transformer 网络，并在许多任务上显著优于标准 Transformer 及其变体。该技术不仅稳定了训练，而且还可以导致具有更少注意力的模型，并提供了预训练检查点。

    Dec, 2020

  • 深度可分离 LSTM 变形器

    本文提出使用深度可分长短时记忆网络 (depth-wise LSTM) 替代残差连接 (residual connection) 来解决深度 Transformer 模型面临的优化问题，采用深度 LSTM 可以更好地捕捉远距离依赖关系。实验结果表明，采用深度 LSTM 有效提高了模型的 BLEU 值，并且可以更加高效地应用于深度 Transformer 模型。同时，本文提出了一种方法来测度层非线性对模型性能的影响，并证实深度 LSTM 的使用优于残差连接。

    Jul, 2020

  • Pre-RMSNorm 与 Pre-CRMSNorm 变压器：等效且高效的 Pre-LN 变压器

    本文提出了一种方法通过去除 Pre-LN Transformers 的冗余均值信息，将 LayerNorm 转化为 RMSNorm 以取得更高效率，进一步提出了一种基于无损压缩的 CRMSNorm Transformer， 实验证明，这种方法可将 Pre-LN Transformers 的训练和推断时间缩短高达 10%。

    May, 2023

  • 深度残差神经网络的分层并行训练

    该论文提出了一种基于多格迭代和并行计算的新型深度神经网络训练算法，和传统的序列前向、后向传播不同，该方法使神经网络的训练过程具备了层间的并行性，并取得了与传统方法相当的训练性能。

    Dec, 2018

  • Dr2Net：动态可逆双重残差网络用于高效调优

    提出了一种称为 Dr²Net 的新型网络结构，通过减少内存消耗来对预训练模型进行微调，达到与传统微调相当的性能但显著减少了内存使用量。

    Jan, 2024