Mar, 2018

规范化重要性：深度神经网络中高效准确的规范化方法

PDF
TL;DR本研究提出了一种新的对归一化方法和权值衰减的目的和功能的视角，并建议了几种常用 L2 批归一化的替代方案，包括 L1 和 L∞范数中的归一化，以提高计算和内存效率，并且在低精度实现中大幅提高了数值稳定性，并且还提出了一种改进重要性重归一化的方法，可以提高其在大规模任务上的性能。
batch-normalizationnormalizationweight-decaynumerical stabilitymemory benefits
发现论文，激发创造
  • L2 正则化与批量归一化和权重归一化比较

    研究 Batch Normalization 和 L2 正则化在深度神经网络训练中的影响，发现 L2 正则化在与标准化结合使用时并没有规范化的作用，而是会影响权重的缩放和有效学习速率，还讨论了其他缓解这个问题的方法。

    Jun, 2017

  • 神经网络的等效标准化

    通过引入一种快速的迭代方法，可以最小化权重的 L2 范数，同时提高了测试准确率，从而为小批量数据提供了一种替代 CIFAR-10 和 ImageNet 的 ResNet-18 中的批量和分组规范化方法

    Feb, 2019

  • 深度学习中标准化方法的新诠释

    本文提出了一项引理来解释多种神经网络中的归一化方法，从而能够在统一的框架下解释归一化的概念。我们的结论是，这些归一化方法能够让权重的范数增大，可能会造成攻击性漏洞的风险，同时，证明这些归一化方法可以帮助稳定网络训练。

    Jun, 2020

  • 用 L1 范数批量归一化高效训练深度神经网络

    本文提出了一种仅利用线性操作来实现前向和后向传递的 L1-norm BN 方法，该方法与原始 L2-norm BN 方法在准确度和收敛速度上相当，但具有更高的计算效率和硬件友好性，可以通过低比特宽度量化技术实现全量化训练，进一步提高深度神经网络的训练速度和能效。

    Feb, 2018

  • 提高批标准化的四个必知技巧

    本文探讨了神经网络优化中常见的批量标准化方法，并提出了四种改善方法，包括基于推理标准化统计的推理现有实例的方法、小批量大小下有效的 Ghost Batch Normalization 正则化方法、权重衰减正则化对 scaling 和 shifting 参数 gamma 和 beta 的影响、并结合批量标准化和分组标准化的方法解决小批量规模的问题。这些方法可以提高神经网络在六个数据集上的性能表现。

    Jun, 2019

  • 无批归一化训练深度神经网络

    本篇论文详细研究了批量归一化在训练神经网络中的作用，以及其与其他优化方法的比较，主要目的是通过改进训练过程判断是否有可能在不使用批量归一化情况下有效地训练网络。

    Aug, 2020

  • CNN 层的大范数不会损害对抗鲁棒性

    通过对 2D 多通道卷积层的理论分析，提出了规范化方法 norm decay，它可以有效地降低卷积层和全连接层的范数，并证明了在一定条件下，可以使用神经网络实现对抗性强度分类器，并且在提高通用性方面具有改进效果，但可能对攻击鲁棒性有轻微影响。

    Sep, 2020

  • 卷积归一化：提高深度卷积网络的鲁棒性和训练效果

    介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。

    Mar, 2021

  • 可扩展的模块化规范优化

    在本文中，我们通过定义模块化范数来显著推广了神经网络的权重归一化方法，该范数与网络架构本身一起递归地定义，并展示了它在性能提升和理论分析方面的应用。

    May, 2024

  • PowerNorm: 在 Transformer 中重新考虑批量归一化

    本文研究了神经网络（NN）和自然语言处理 (NLP) 中的标准归一化方法 —— 层归一化 (LN) 和在计算机视觉中广泛应用的批归一化（BN）之间的区别，分析了使用 BN 进行 NLP 任务时性能下降的原因，提出了一种通过放宽 BN 中的零均值正则化，引入运行时二次平均值稳定批次间波动并在前向传递中引入运行时高斯噪声的新型 Lp 归一化方法 (PN)，比 LN 和 BN 都表现更好。

    Mar, 2020