通过使用 Weight Standardization (WS) 和 Batch-Channel Normalization (BCN)，能够将 Batch Normalization（BN）中的两个成功因素引入 micro-batch training 中，从而为计算机视觉任务中不可避免的 micro-batch 训练提供有效的技术支持。通过验证在包括图像分类，目标检测，实例分割，视频识别和语义分割等全面的计算机视觉任务中，WS 和 BCN 均显著改善了 micro-batch 训练，甚至能够与大 batch 训练时的 BN 相媲美或超越。

Mar, 2019

介绍了一种用于解决深度神经网络训练中的内部协变量漂移问题的非自适应规范化技术 ——Normalization Propagation，其利用一种数据独立的参数估计，通过预先规范化激活函数前的数据分布特征，实现了批标准化无法实现的单个 Batch 的训练，进一步减少了运算复杂性。

Mar, 2016

本文提出了一种投影基准重量归一化 (PBWN) 的方法，通过将每个神经元的输入权重限制在单位范数上，以达到优化 DNN 性能的目的。实验表明，该方法在许多不同的 DNN 体系结构上均能提高性能，并且能够在 permutation invariant MNIST 数据集上实现半监督学习方面的超越表现。

Oct, 2017

本文提出了一项引理来解释多种神经网络中的归一化方法，从而能够在统一的框架下解释归一化的概念。我们的结论是，这些归一化方法能够让权重的范数增大，可能会造成攻击性漏洞的风险，同时，证明这些归一化方法可以帮助稳定网络训练。

Jun, 2020

本文通过理论和统计分析探讨了为何结合 Dropout 和 Batch Normalization 会导致神经网络预测准确率下降的问题，发现该组合会引起特定神经元的方差转移并导致预测不稳定，提出了一些修改 Dropout 的策略来避免方差转移的风险。

Jan, 2018

本研究提出了一种名为 SWBN 的针对深度神经网络的新算法，该算法使用随机白化技术渐进估计白化矩阵，相较于 IterNorm 算法实现了更快的收敛和更好的泛化效果。在常规（大批量）图像分类和少样本分类任务上，经过综合实验和对比，显示出了 SWBN 方法的有效性。

Jun, 2021

本文研究了神经网络（NN）和自然语言处理 (NLP) 中的标准归一化方法 —— 层归一化 (LN) 和在计算机视觉中广泛应用的批归一化（BN）之间的区别，分析了使用 BN 进行 NLP 任务时性能下降的原因，提出了一种通过放宽 BN 中的零均值正则化，引入运行时二次平均值稳定批次间波动并在前向传递中引入运行时高斯噪声的新型 Lp 归一化方法 (PN)，比 LN 和 BN 都表现更好。

Mar, 2020

本研究介绍了一种基于权重标准化的方法，用于改善生成对抗网络（GAN）的训练稳定性、效率和生成样本质量，并提供了基于测试集的平方欧几里得重构误差作为新的客观质量度量来评估训练性能，结果表明该方法优于基于批标准化（BN）的方法，并在常用数据集上取得了更好的定性和定量结果。

Apr, 2017

提出了一种使用广义偏差测量的 Batch Normalization（BN）变换，与传统的 BN 相比，它通过使用风险理论和量化风险管理的最新概念，加速神经网络训练的收敛速度，在结合 ReLU 非线性时，可以自然选择偏差测量和统计，实验证明在保持错误率方面与传统 BN 相比有所提高，总体而言，为设计选择提供了一个更灵活的 BN 变换。

Dec, 2018

本文探讨了批归一化算法与权重归一化算法在大规模实际应用中的表现差异。经过实验发现，虽然权重归一化算法在训练精度方面表现更好，但最终的测试精度显著低于批归一化算法，并且权重归一化算法在大规模深度网络训练上稳定性差，因此不适合大规模实际应用。

Sep, 2017