本文提出一种新的归一化方法，即移动平均批量归一化（MABN），可以在小批量情况下完全恢复基本 BN 的性能，并且在推理过程中不需要引入任何额外的非线性操作，此方法通过理论分析和实验演示了其有效性。

Jan, 2020

本文提出了一种简单而有效的方法，可以在测试期间估算批量标准化统计量以快速适应目标测试样本，并提出两种新的评估设置，避免对大量在线批次的依赖并能够仅通过单个样本估算准确的批量标准化统计量。该方法在测试时间自适应任务的新提出的设置中明显优于现有方法，并且在其他设置中也有所改进。

Oct, 2021

本文提出了一种跨迭代批归一化（CBN）方法，利用多个最近的迭代中的样本共同估计统计量以增强估计质量，通过使用基于 Taylor 多项式的技术来补偿网络权重变化，以准确估计统计量，并在小型 mini-batch 情况下检测目标和图像分类任务中，CBN 显示出优于原始批归一化和对历史迭代的统计量直接计算的性能。

Feb, 2020

通过研究批量归一化（BN）中的种群统计估计，提出了一种批量自由归一化（BFN）的方法，进而设计了一种 XBNBlock 来替代深度残差网络中的 BN，以防止估计偏移的积累。在 ImageNet 和 COCO 基准测试上验证，XBNBlock 在各种网络结构下都能显著改善性能，并且对分布转移更具鲁棒性。

Mar, 2022

本文提出了一种称为 Batch Kalman Normalization（BKN）的新型规范化方法，通过考虑其前面所有层的分布来估计某个层的统计信息来改善和加速训练深度神经网络，特别是在微批处理的情况下，实现了更稳定的训练和更快的收敛速度。

Feb, 2018

本文提出了一种新的神经网络训练方法：Iterative Normalization，通过牛顿迭代实现高效且无矩阵分解的白化，同时引入 Stochastic Normalization Disturbance，增加实验的稳定性，实验表明 IterNorm 具有更好的优化与泛化折衷。

Apr, 2019

本文提出了组归一化（GN）作为批量归一化（BN）的一种简单替代方案，GN 可解决 BN 在小批量大小下估计错误的问题，稳定性高且可应用于多种计算机视觉任务，如目标检测和图像分割。

Mar, 2018

本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

Jun, 2018

本研究提出了一种名为 SWBN 的针对深度神经网络的新算法，该算法使用随机白化技术渐进估计白化矩阵，相较于 IterNorm 算法实现了更快的收敛和更好的泛化效果。在常规（大批量）图像分类和少样本分类任务上，经过综合实验和对比，显示出了 SWBN 方法的有效性。

Jun, 2021

本研究证明 BatchNorm 在对抗攻击下表现脆弱的原因和提出了新的对抗攻击下稳健的正则化方法 RobustNorm。实验证明使用 RobustNorm 的深度神经网络在对抗环境下表现更好。

Jun, 2020