Mar, 2020

PowerNorm: 在 Transformer 中重新考虑批量归一化

PDF
TL;DR本文研究了神经网络（NN）和自然语言处理 (NLP) 中的标准归一化方法 —— 层归一化 (LN) 和在计算机视觉中广泛应用的批归一化（BN）之间的区别，分析了使用 BN 进行 NLP 任务时性能下降的原因，提出了一种通过放宽 BN 中的零均值正则化，引入运行时二次平均值稳定批次间波动并在前向传递中引入运行时高斯噪声的新型 Lp 归一化方法 (PN)，比 LN 和 BN 都表现更好。
发现论文，激发创造
  • 批归一化在自然语言处理中 Transformer 失败的原因

    通过量化训练与推理之间的不一致性，证明了 BN 在 NLP 中表现较差的主要原因，并提出了一种正则化方法 RBN，可以显著改善 BN 在 Transformer 模型上的性能。

    Oct, 2022

  • 加速和稳定 Transformer 的统一规范化

    提出一种名为统一归一化（UN）的新型网络层归一化方法，通过采用适合的波动整理策略校准激活和梯度统计数据，以避免过多迭代波动和极端异常值的问题，并应用自适应离群值筛选策略以避免训练崩溃。通过在语言和视觉任务上的广泛实验，验证了 UN 作为 LN 的高效替代方法，可以加快推理速度约 31％，减少内存约 18％。

    Aug, 2022

  • 深度学习中标准化方法的新诠释

    本文提出了一项引理来解释多种神经网络中的归一化方法，从而能够在统一的框架下解释归一化的概念。我们的结论是，这些归一化方法能够让权重的范数增大，可能会造成攻击性漏洞的风险，同时，证明这些归一化方法可以帮助稳定网络训练。

    Jun, 2020

  • 用 L1 范数批量归一化高效训练深度神经网络

    本文提出了一种仅利用线性操作来实现前向和后向传递的 L1-norm BN 方法，该方法与原始 L2-norm BN 方法在准确度和收敛速度上相当，但具有更高的计算效率和硬件友好性，可以通过低比特宽度量化技术实现全量化训练，进一步提高深度神经网络的训练速度和能效。

    Feb, 2018

  • 深入探究功率标准化

    本文研究了在深度学习中引入 Power Normalizations（PN）操作作为一种新的 layer，实现对 feature map 的非线性池化，以解决 feature 不平衡问题，通过对 PN 函数的探索和实践，将其与 ResNet-50 模型相结合，应用于细粒度识别等四个 benchmark 中，获得了最先进的性能。

    Jun, 2018

  • 理解批标准化

    本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

    Jun, 2018

  • 流式归一化：针对在线和递归学习的更简单和更符合生物学原理的归一化方案

    提出了一个更简单、更符合生物学规律的通用归一化算法，可同时解决批归一化的两个主要限制：在线学习和循环学习，并提出了用不同统计矩阶数来进行归一化的 Lp 归一化方法，特别是 L1 归一化，其性能表现良好且计算速度快，更加符合生物学规律，因此非常适合 GPU 或硬件实现。

    Oct, 2016

  • Pre-RMSNorm 与 Pre-CRMSNorm 变压器：等效且高效的 Pre-LN 变压器

    本文提出了一种方法通过去除 Pre-LN Transformers 的冗余均值信息，将 LayerNorm 转化为 RMSNorm 以取得更高效率，进一步提出了一种基于无损压缩的 CRMSNorm Transformer， 实验证明，这种方法可将 Pre-LN Transformers 的训练和推断时间缩短高达 10%。

    May, 2023

  • 论 Transformers 中的层标准化与残差连接

    研究表明，在使用深层 Transformers 训练时，Post-LN 有时会出现不稳定的情况，而 Pre-LN 的表现则相对更好，但在浅层 Transformers 中，Post-LN 的表现一直优于 Pre-LN。本文发现，Post-LN 的 LN 是导致不稳定训练的原因，而 Pre-LN 则可以防止这种情况。同时，在反向传播中，Post-LN 会保持更大的梯度范数，从而实现有效训练。基于这些发现，我们提出了一种简单修改后的方法，比 Pre-LN 更稳定，并在各种文本生成任务中表现出色。

    Jun, 2022

  • 简化线性注意力和渐进重参数化批归一化的高效 Transformer (SLAB)

    本研究针对 transformer 中的计算瓶颈模块，即正则化层和注意力模块，提出了一种名为 PRepBN 的新方法，用于逐步替换训练中的 LayerNorm，并提出了一种简化的线性注意力模块（SLA）以实现强大的性能。实验证明，该方法在图像分类和目标检测任务上的效果显著，并在语言建模任务中获得了可比较的性能和更低的延迟。

    May, 2024