本文提出了一种基于多个最近批次来获取更准确、更稳健统计的 Memorized Batch Normalization (MBN)，并使用 Double-Forward scheme 来缓解分布漂移问题，相较于现有的方法，在训练和推理中表现更加稳定，并显著提高了模型的泛化性能。

Oct, 2020

本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

Jun, 2018

本文提出了一种称为 Batch Kalman Normalization（BKN）的新型规范化方法，通过考虑其前面所有层的分布来估计某个层的统计信息来改善和加速训练深度神经网络，特别是在微批处理的情况下，实现了更稳定的训练和更快的收敛速度。

Feb, 2018

通过使用 EvalNorm，本文解决了小 minibatch 训练时 batch normalization 性能下降的问题，而且 EvalNorm 实现方便，可以进一步提高模型性能。

Apr, 2019

持续学习在深度神经网络中的应用及其在适应性平衡方面的理论分析。通过提出适应性平衡的批归一化策略 (AdaB2N)，在各种基准测试中显著提高了性能。

Oct, 2023

本文提出了组归一化（GN）作为批量归一化（BN）的一种简单替代方案，GN 可解决 BN 在小批量大小下估计错误的问题，稳定性高且可应用于多种计算机视觉任务，如目标检测和图像分割。

Mar, 2018

提出了一种使用广义偏差测量的 Batch Normalization（BN）变换，与传统的 BN 相比，它通过使用风险理论和量化风险管理的最新概念，加速神经网络训练的收敛速度，在结合 ReLU 非线性时，可以自然选择偏差测量和统计，实验证明在保持错误率方面与传统 BN 相比有所提高，总体而言，为设计选择提供了一个更灵活的 BN 变换。

Dec, 2018

本文提出了一种跨迭代批归一化（CBN）方法，利用多个最近的迭代中的样本共同估计统计量以增强估计质量，通过使用基于 Taylor 多项式的技术来补偿网络权重变化，以准确估计统计量，并在小型 mini-batch 情况下检测目标和图像分类任务中，CBN 显示出优于原始批归一化和对历史迭代的统计量直接计算的性能。

Feb, 2020

本文探讨了神经网络优化中常见的批量标准化方法，并提出了四种改善方法，包括基于推理标准化统计的推理现有实例的方法、小批量大小下有效的 Ghost Batch Normalization 正则化方法、权重衰减正则化对 scaling 和 shifting 参数 gamma 和 beta 的影响、并结合批量标准化和分组标准化的方法解决小批量规模的问题。这些方法可以提高神经网络在六个数据集上的性能表现。

Jun, 2019

本文提出了一种新的神经网络训练方法：Iterative Normalization，通过牛顿迭代实现高效且无矩阵分解的白化，同时引入 Stochastic Normalization Disturbance，增加实验的稳定性，实验表明 IterNorm 具有更好的优化与泛化折衷。

Apr, 2019