本文研究了使用联邦学习方法在分布式非独立同分布数据集上训练深度学习模型时，采用不同的规范化层和协同频率策略，优化模型性能的效果，研究发现，Batch Normalization 并不是最适合联邦学习的规范化策略，而 Group 与 Layer Normalization 能更有效地提升模型的速度和质量。此外，频繁的模型聚合也能降低模型性能。

Mar, 2023

本文提出了组归一化（GN）作为批量归一化（BN）的一种简单替代方案，GN 可解决 BN 在小批量大小下估计错误的问题，稳定性高且可应用于多种计算机视觉任务，如目标检测和图像分割。

Mar, 2018

在联合学习中，批量标准化 (Federated BatchNorm) 是一种新的机制，它在训练中保持一致性，确保批量标准化与中心化执行中所获得的一致，并准确估计全局统计数据，从而减少外部协变量转移和与中心化设置的评估性能匹配。此外，可以通过稍微增加复杂性来加强 FBN 以减轻错误统计和可能的对抗攻击。

May, 2024

本研究提出了一种名为 FedBN 的有效方法，该方法使用本地批量归一化来减轻特征转移非独立同分布问题，并优于现有算法，促进联邦学习的收敛性。

Feb, 2021

使用 Group Normalization 作为批量归一化（Batch Normalization）的替代方法来解决其在深度学习模型中所面临的严重挑战，具有与或提高分类准确率的可比性，而且可以自然地从预训练阶段转移到微调阶段。

Apr, 2024

提出了一种使用广义偏差测量的 Batch Normalization（BN）变换，与传统的 BN 相比，它通过使用风险理论和量化风险管理的最新概念，加速神经网络训练的收敛速度，在结合 ReLU 非线性时，可以自然选择偏差测量和统计，实验证明在保持错误率方面与传统 BN 相比有所提高，总体而言，为设计选择提供了一个更灵活的 BN 变换。

Dec, 2018

本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

Jun, 2018

本文提出了 Filter Response Normalization（FRN）层，一种归一化和激活函数的新型组合，可以作为其他归一化和激活函数的替代品；该方法在各种情况下都优于 BN 和其他替代品，对于具有大型 mini-batch 的 Imagenet 分类使用 InceptionV3 和 ResnetV2-50 架构，FRN 层比 BN 的 top-1 验证精度增加约 0.7-1.0％；对于小型 mini-batch，它比 GN 的性能增强超过 1％；对于 COCO 数据集上的目标检测问题，FRN 层在所有批处理大小各个方面都优于其他方法 0.3-0.5％。

Nov, 2019

Federated learning（FL）通过在分散的客户端上进行协同原位训练，增强数据隐私性。然而，FL 面临由于非独立和同分布的（non-i.i.d）数据而引起的挑战，导致潜在的性能下降和收敛阻碍。本研究解决了一个被称为多域 FL 的关键问题，该问题经常被忽略，即客户数据来自具有不同特征分布的不同领域。为了解决 FL 中的多域问题，我们提出了一种称为无标准化联邦学习（FedWon）的新方法。FedWon 通过在 FL 中消除所有标准化，并用缩放的权重标准化重新参数化卷积层，以解决批量标准化面临的挑战。与 FedAvg 和当前最先进的方法（FedBN）相比，我们的结果表明 FedWon 在所有实验设置中均优于它们，某些域的改进超过 10％。此外，FedWon 即使在批量大小为 1 的情况下也能够以强劲的性能处理扭曲的标记分布，并且对于跨 silos 和跨设备的 FL 非常灵活。

Jun, 2023

该研究使用 Fisher 核的角度探索 Batch Normalization 的优化，提出了一种新的 Mixture Normalization 方法，通过 CIFAR-10 和 CIFAR-100 实验验证能够有效加速深度神经网络模型的训练

Jun, 2018