该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练mini-batch的操作中进行标准化，解决了此问题，在Image Classification上取得了优秀的表现。

Feb, 2015

该论文提出了一种基于高级特征的协方差汇集方法，即Matrix Power Normalized Covariance (MPN-COV)，并在ImageNet上的测试中表现出了显著的成果，特别是在AlexNet，VGG-M和VGG-16的情况下，MPN-COV方法可以使性能提高超过3％，并且与ResNet-152相媲美。

Mar, 2017

我们通过对多个机器学习实例进行研究，证明了Batch Normalization在优化任务中的加速效果源于其将参数长度和方向分开进行优化，针对这些机器学习问题，Batch Normalization可以是一种收敛算法。

May, 2018

本文探讨了批量归一化（BatchNorm）对深度神经网络（DNN）训练的影响及原因，发现BatchNorm的成功并不在于控制层输入分布的稳定性，而是在于它让优化的过程变得更加平滑，从而使梯度更加稳定和可预测，加快了训练速度。

May, 2018

本文揭示 BatchNorm 的固有特性，即通过学习仿射变换参数达到卓越的性能，结果表明这种方式可以实现神经网络中的显著表现。

Feb, 2020

该研究探讨了在元学习中使用批量标准化的挑战，并提出了一种叫TaskNorm的新方法，实验证明该方法能够改善分类准确性和训练时间，并提供了一系列规范化的最佳实践来实现元学习算法的公平比较。

Mar, 2020

本文旨在研究如何纠正使用数据增强技术训练深度神经网络时所导致的图像偏差问题，作者提出了一种辅助BatchNorm方法，实验结果表明，使用弱增强训练的BatchNorm参数可以明显提高CIFAR-10、CIFAR-100和ImageNet等常见图像分类基准测试的模型性能，同时，研究还揭示了使用不同BatchNorm参数所带来的精度和鲁棒性之间的基本权衡关系。

Oct, 2020

本文研究的是卷积神经网络的权重分布偏移对于预训练模型的稳健性的影响，提出了一个包含超过14亿卷积滤波器的数据集，并通过分析数据集展示了现有预训练模型的一些局限性。

Mar, 2022

本文提出了一种新的Batch Transformer模块，即BatchFormerV2，可以进一步探索密集表示学习，适用于各种常见的视觉识别任务，包括图像分类、目标检测和全景分割，改进了几种基于DETR的目标检测方法(例如DETR、Deformable-DETR、Conditional DETR和SMCA) 1.3%以上。

Apr, 2022

本研究论文提出了一种名为统一批标准化（UBN）的两阶段统一框架，用于解决批标准化（BN）中的特征凝聚问题，并统一各种标准化变体以提高性能和网络训练收敛速度。实验证明，UBN方法能够在不同的视觉背景下显著提升性能，并且在早期训练阶段尤其明显，如在大批量数据上提高了3%的ImageNet分类的top-1准确率，展示了该方法在实际场景中的有效性。

Nov, 2023