标准化传播：一种参数技术用于消除深层网络中的内部协变量移位

ICMLMar, 2016

标准化传播：一种参数技术用于消除深层网络中的内部协变量移位

Normalization Propagation: A Parametric Technique for Removing Internal Covariate Shift in Deep Networks

Devansh Arpit, Yingbo Zhou, Bhargava U. Kota, Venu Govindaraju

TL;DR介绍了一种用于解决深度神经网络训练中的内部协变量漂移问题的非自适应规范化技术 ——Normalization Propagation，其利用一种数据独立的参数估计，通过预先规范化激活函数前的数据分布特征，实现了批标准化无法实现的单个 Batch 的训练，进一步减少了运算复杂性。

Abstract

While the authors of batch normalization (BN) identify and address an important problem involved in training deep networks-- Internal Covariate Shift-- the current solution has certain drawbacks. Specifically, BN depends on batch statistics for layerwise input normalization during trai

batch normalization internal covariate shift normalization propagation pre-activation rectified linear units

发现论文，激发创造

正则化自编码器为何学习稀疏表示？

提出了一种名为 Normalization Propagation 的非自适应标准化技术，它的作用类似于批量归一化方法，但其不依赖于批量统计数据，能够有效解决 BN 方法的缺点，同时具有更高的计算效率。

May, 2015

批量标准化：通过减少内部协变量漂移加速深层神经网络训练

该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练 mini-batch 的操作中进行标准化，解决了此问题，在 Image Classification 上取得了优秀的表现。

Feb, 2015

无批归一化训练深度神经网络

本篇论文详细研究了批量归一化在训练神经网络中的作用，以及其与其他优化方法的比较，主要目的是通过改进训练过程判断是否有可能在不使用批量归一化情况下有效地训练网络。

Aug, 2020

理解批标准化

本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

Jun, 2018

记忆批归一化的双向传播

本文提出了一种基于多个最近批次来获取更准确、更稳健统计的 Memorized Batch Normalization (MBN)，并使用 Double-Forward scheme 来缓解分布漂移问题，相较于现有的方法，在训练和推理中表现更加稳定，并显著提高了模型的泛化性能。

Oct, 2020

深入探究方差传递和归一化：平均梯度的偏移导致网络崩溃

通过研究彼此之间的关系，本文旨在对批归一化 (BN) 的实际效果进行解释，并通过提出参数权重标准化 (PWS) 解决平均梯度偏移的问题，从而使神经网络更快地收敛并在方差传递的角度解释 BN 的作用。

Mar, 2021

稳健图像分类的上下文归一化

本文提出一种称为上下文归一化的新的归一化技术，用于图像数据。这种方法基于每个样本的特征调整特征的缩放，通过使数据值适应目标任务的上下文来提高模型的收敛速度和性能。在各种数据集上展示了上下文归一化的有效性，并将其性能与其他标准归一化技术进行了比较。

Mar, 2023

在 BN 反向传播中稳定批统计量

本文提出一种新的归一化方法，即移动平均批量归一化（MABN），可以在小批量情况下完全恢复基本 BN 的性能，并且在推理过程中不需要引入任何额外的非线性操作，此方法通过理论分析和实验演示了其有效性。

Jan, 2020

特征化信号传播以缩小未标准化 ResNets 性能差距

该研究介绍了一种能够设计高效 ResNets 网络的分析工具，通过采用一种改进后的 Weight Standardization 技术，该分析工具的作用在于确保具有 ReLU 或 Swish 激活函数的信号在网络的深度方向上不发生偏移以达到在 FLOP 预算范围内与当今最先进的 EfficientNets 在 ImageNet 上的性能竞争可比性。

Jan, 2021

广义批量归一化：加速深度神经网络

提出了一种使用广义偏差测量的 Batch Normalization（BN）变换，与传统的 BN 相比，它通过使用风险理论和量化风险管理的最新概念，加速神经网络训练的收敛速度，在结合 ReLU 非线性时，可以自然选择偏差测量和统计，实验证明在保持错误率方面与传统 BN 相比有所提高，总体而言，为设计选择提供了一个更灵活的 BN 变换。

Dec, 2018