批量归一化对深度学习模型噪声抗干扰性的影响
该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练 mini-batch 的操作中进行标准化，解决了此问题，在 Image Classification 上取得了优秀的表现。
Feb, 2015
研究表明，批量标准化在深度神经网络的训练中可以降低参数更新次数，但会导致对小型对抗性输入扰动和噪音的鲁棒性降低，同时使用权重衰减可以消除其对输入尺寸的影响。
May, 2019
本研究分析批量标准化在深度神经网络中的影响，提出通过分离鲁棒性和有效性来评估其对神经网络的贡献，并探究其对于特征鲁棒性的贡献程度以及其对于黑盒攻击的可重用性。
Oct, 2020
本研究证明 BatchNorm 在对抗攻击下表现脆弱的原因和提出了新的对抗攻击下稳健的正则化方法 RobustNorm。实验证明使用 RobustNorm 的深度神经网络在对抗环境下表现更好。
Jun, 2020
本篇论文详细研究了批量归一化在训练神经网络中的作用，以及其与其他优化方法的比较，主要目的是通过改进训练过程判断是否有可能在不使用批量归一化情况下有效地训练网络。
Aug, 2020
本文探讨了神经网络优化中常见的批量标准化方法，并提出了四种改善方法，包括基于推理标准化统计的推理现有实例的方法、小批量大小下有效的 Ghost Batch Normalization 正则化方法、权重衰减正则化对 scaling 和 shifting 参数 gamma 和 beta 的影响、并结合批量标准化和分组标准化的方法解决小批量规模的问题。这些方法可以提高神经网络在六个数据集上的性能表现。
Jun, 2019
本文探讨了批量归一化（BatchNorm）对深度神经网络（DNN）训练的影响及原因，发现 BatchNorm 的成功并不在于控制层输入分布的稳定性，而是在于它让优化的过程变得更加平滑，从而使梯度更加稳定和可预测，加快了训练速度。
May, 2018
本文提出了一种称为 Batch Renormalization 的扩展方法，在训练深度学习模型时，在 minibatch 太小或不包含独立样本时，解决模型层输入依赖于 minibatch 所有实例和训练与推理之间存在的差异，同时保持初始化和训练效率等方面的优点。
Feb, 2017