组归一化
使用 Group Normalization 作为批量归一化（Batch Normalization）的替代方法来解决其在深度学习模型中所面临的严重挑战，具有与或提高分类准确率的可比性，而且可以自然地从预训练阶段转移到微调阶段。
Apr, 2024
本文介绍了一种名为 Group Whitening 的新型批量归一化方法，该方法结合了白化方法和 Group Normalization 的优点，避免了普通批量归一化的缺点，并且从模型表征容量的角度，分析了批归一化的表征能力与批大小（组数）的关系，通过在 ResNet 和 ResNeXt 上的实验，验证了 Group Whitening 在不同架构中的性能优势。
Sep, 2020
研究表明，在分布式学习中，Batch Normalization 和 Group Normalization 并没有明显差异，而 Batch Normalization 可以用于更广泛的分布式学习设置中。
Mar, 2023
该研究使用 Fisher 核的角度探索 Batch Normalization 的优化，提出了一种新的 Mixture Normalization 方法，通过 CIFAR-10 和 CIFAR-100 实验验证能够有效加速深度神经网络模型的训练
Jun, 2018
该研究提出了一种新的规范化技术称为批次通道规范化（BCN），它结合了批次归一化（BN）和层归一化（LN）的优势，并可以应用于计算机视觉领域中的各种应用。
Dec, 2023
本文提出了 Filter Response Normalization（FRN）层，一种归一化和激活函数的新型组合，可以作为其他归一化和激活函数的替代品；该方法在各种情况下都优于 BN 和其他替代品，对于具有大型 mini-batch 的 Imagenet 分类使用 InceptionV3 和 ResnetV2-50 架构，FRN 层比 BN 的 top-1 验证精度增加约 0.7-1.0％；对于小型 mini-batch，它比 GN 的性能增强超过 1％；对于 COCO 数据集上的目标检测问题，FRN 层在所有批处理大小各个方面都优于其他方法 0.3-0.5％。
Nov, 2019
提出了一种使用广义偏差测量的 Batch Normalization（BN）变换，与传统的 BN 相比，它通过使用风险理论和量化风险管理的最新概念，加速神经网络训练的收敛速度，在结合 ReLU 非线性时，可以自然选择偏差测量和统计，实验证明在保持错误率方面与传统 BN 相比有所提高，总体而言，为设计选择提供了一个更灵活的 BN 变换。
Dec, 2018
本文提出了一种称为 Batch Kalman Normalization（BKN）的新型规范化方法，通过考虑其前面所有层的分布来估计某个层的统计信息来改善和加速训练深度神经网络，特别是在微批处理的情况下，实现了更稳定的训练和更快的收敛速度。
Feb, 2018