介绍了一种用于解决深度神经网络训练中的内部协变量漂移问题的非自适应规范化技术——Normalization Propagation，其利用一种数据独立的参数估计，通过预先规范化激活函数前的数据分布特征，实现了批标准化无法实现的单个Batch的训练，进一步减少了运算复杂性。

Mar, 2016

本文提出了一种称为Batch Kalman Normalization（BKN）的新型规范化方法，通过考虑其前面所有层的分布来估计某个层的统计信息来改善和加速训练深度神经网络，特别是在微批处理的情况下，实现了更稳定的训练和更快的收敛速度。

Feb, 2018

本文提出了一种新的批量标准化方法 Decorrelated Batch Normalization（DBN），不仅可以中心化和缩放激活，还可以白化激活，通过多种白化技术的探索发现 ZCA 白化可以成功学习并且可以提高 BN 的性能和优化效率，具有双重优势。我们通过一系列实验展示了 DBN 改进了 BN 的性能并且在多层感知器和卷积神经网络上都可以提高准确性，还在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上增加了残余网络的准确率。

Apr, 2018

通过对神经网络的基本结构进行分析，我们发现批量标准化通过人口标准化和 gamma衰减作为显式正则化来实现隐式正则化，可以提高训练收敛性和泛化性，同时提供了学习动力学和正则化的学习方法，这一理论与实验证明了在卷积神经网络中批量标准化和上述分析具有相同的正则化特性。

Sep, 2018

提出了一种使用广义偏差测量的 Batch Normalization（BN）变换，与传统的 BN 相比，它通过使用风险理论和量化风险管理的最新概念，加速神经网络训练的收敛速度，在结合 ReLU 非线性时，可以自然选择偏差测量和统计，实验证明在保持错误率方面与传统 BN 相比有所提高，总体而言，为设计选择提供了一个更灵活的 BN 变换。

Dec, 2018

本文探讨了神经网络优化中常见的批量标准化方法，并提出了四种改善方法，包括基于推理标准化统计的推理现有实例的方法、小批量大小下有效的 Ghost Batch Normalization 正则化方法、权重衰减正则化对 scaling 和 shifting 参数 gamma 和 beta 的影响、并结合批量标准化和分组标准化的方法解决小批量规模的问题。这些方法可以提高神经网络在六个数据集上的性能表现。

Jun, 2019

本文提出了Filter Response Normalization（FRN）层，一种归一化和激活函数的新型组合，可以作为其他归一化和激活函数的替代品；该方法在各种情况下都优于BN和其他替代品，对于具有大型mini-batch的Imagenet分类使用InceptionV3和ResnetV2-50架构，FRN层比BN的top-1验证精度增加约0.7-1.0％；对于小型mini-batch，它比GN的性能增强超过1％；对于COCO数据集上的目标检测问题，FRN层在所有批处理大小各个方面都优于其他方法0.3-0.5％。

Nov, 2019

本文提出一种新的归一化方法，即移动平均批量归一化（MABN），可以在小批量情况下完全恢复基本BN的性能，并且在推理过程中不需要引入任何额外的非线性操作，此方法通过理论分析和实验演示了其有效性。

Jan, 2020

批量归一化是一种无监督的学习技术，它适应了深度神经网络的样条分区来匹配数据，缩小了训练样本和决策边界之间的边距，从而减少了过拟合，提高了泛化性能。

Sep, 2022

本研究论文提出了一种名为统一批标准化（UBN）的两阶段统一框架，用于解决批标准化（BN）中的特征凝聚问题，并统一各种标准化变体以提高性能和网络训练收敛速度。实验证明，UBN方法能够在不同的视觉背景下显著提升性能，并且在早期训练阶段尤其明显，如在大批量数据上提高了3%的ImageNet分类的top-1准确率，展示了该方法在实际场景中的有效性。

Nov, 2023