该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练mini-batch的操作中进行标准化，解决了此问题，在Image Classification上取得了优秀的表现。

Feb, 2015

本文提出了一种新的批量标准化方法 Decorrelated Batch Normalization（DBN），不仅可以中心化和缩放激活，还可以白化激活，通过多种白化技术的探索发现 ZCA 白化可以成功学习并且可以提高 BN 的性能和优化效率，具有双重优势。我们通过一系列实验展示了 DBN 改进了 BN 的性能并且在多层感知器和卷积神经网络上都可以提高准确性，还在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上增加了残余网络的准确率。

Apr, 2018

本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

Jun, 2018

该研究使用 Fisher 核的角度探索 Batch Normalization的优化，提出了一种新的 Mixture Normalization 方法，通过 CIFAR-10 和 CIFAR-100 实验验证能够有效加速深度神经网络模型的训练

Jun, 2018

通过对神经网络的基本结构进行分析，我们发现批量标准化通过人口标准化和 gamma衰减作为显式正则化来实现隐式正则化，可以提高训练收敛性和泛化性，同时提供了学习动力学和正则化的学习方法，这一理论与实验证明了在卷积神经网络中批量标准化和上述分析具有相同的正则化特性。

Sep, 2018

本文探讨了神经网络优化中常见的批量标准化方法，并提出了四种改善方法，包括基于推理标准化统计的推理现有实例的方法、小批量大小下有效的 Ghost Batch Normalization 正则化方法、权重衰减正则化对 scaling 和 shifting 参数 gamma 和 beta 的影响、并结合批量标准化和分组标准化的方法解决小批量规模的问题。这些方法可以提高神经网络在六个数据集上的性能表现。

Jun, 2019

本文提出了Filter Response Normalization（FRN）层，一种归一化和激活函数的新型组合，可以作为其他归一化和激活函数的替代品；该方法在各种情况下都优于BN和其他替代品，对于具有大型mini-batch的Imagenet分类使用InceptionV3和ResnetV2-50架构，FRN层比BN的top-1验证精度增加约0.7-1.0％；对于小型mini-batch，它比GN的性能增强超过1％；对于COCO数据集上的目标检测问题，FRN层在所有批处理大小各个方面都优于其他方法0.3-0.5％。

Nov, 2019

本文提出一种新的归一化方法，即移动平均批量归一化（MABN），可以在小批量情况下完全恢复基本BN的性能，并且在推理过程中不需要引入任何额外的非线性操作，此方法通过理论分析和实验演示了其有效性。

Jan, 2020

本文通过凸优化的视角分析Batch Normalization，提出了一个基于凸对偶的解析框架，可以精确地描述用Batch Normalization训练的带有权重衰减的ReLU网络，并证明在高维和过参数化情况下，理论上可以获得一些简单的解析的最优层权重和可训练的凸约束优化问题，并发现梯度下降给标准的非凸BN网络提供了算法偏差效应，通过我们的方法可以将这种隐式正则化显性编码到凸目标中，实验结果表明该方法可以模拟和显著提高标准BN网络的性能。

Mar, 2021

批量归一化是一种无监督的学习技术，它适应了深度神经网络的样条分区来匹配数据，缩小了训练样本和决策边界之间的边距，从而减少了过拟合，提高了泛化性能。

Sep, 2022