本文探讨了神经网络优化中常见的批量标准化方法，并提出了四种改善方法，包括基于推理标准化统计的推理现有实例的方法、小批量大小下有效的 Ghost Batch Normalization 正则化方法、权重衰减正则化对 scaling 和 shifting 参数 gamma 和 beta 的影响、并结合批量标准化和分组标准化的方法解决小批量规模的问题。这些方法可以提高神经网络在六个数据集上的性能表现。

Jun, 2019

本文提出了一种扩展 Batch Normalization 的灵活方法，通过将归一化扩展到不止一个均值和方差，我们能够实时检测数据模式并联合归一化具有共同特征的样本。实验结果表明，我们的方法在单任务和多任务数据集上优于 BN 和其他广泛使用的归一化技术。

Oct, 2018

该论文详细回顾了在视觉识别任务中 BatchNorm 所存在的问题，并且指出解决这些问题的关键是重新思考 BatchNorm 中 “Batch” 这个概念中的不同选择，通过提供这些问题及其缓解措施，帮助研究人员更有效地使用 BatchNorm。

May, 2021

本文提出一种基于层归一化的深度神经网络训练新方法，能够有效稳定循环神经网络中的隐藏状态动态，其训练时间较之前的技术有大幅度降低。

Jul, 2016

本文提出了一种简单而有效的方法，可以在测试期间估算批量标准化统计量以快速适应目标测试样本，并提出两种新的评估设置，避免对大量在线批次的依赖并能够仅通过单个样本估算准确的批量标准化统计量。该方法在测试时间自适应任务的新提出的设置中明显优于现有方法，并且在其他设置中也有所改进。

Oct, 2021

本研究提出了一种新的对归一化方法和权值衰减的目的和功能的视角，并建议了几种常用 L2 批归一化的替代方案，包括 L1 和 L∞范数中的归一化，以提高计算和内存效率，并且在低精度实现中大幅提高了数值稳定性，并且还提出了一种改进重要性重归一化的方法，可以提高其在大规模任务上的性能。

Mar, 2018

使用 Group Normalization 作为批量归一化（Batch Normalization）的替代方法来解决其在深度学习模型中所面临的严重挑战，具有与或提高分类准确率的可比性，而且可以自然地从预训练阶段转移到微调阶段。

Apr, 2024

本篇论文详细研究了批量归一化在训练神经网络中的作用，以及其与其他优化方法的比较，主要目的是通过改进训练过程判断是否有可能在不使用批量归一化情况下有效地训练网络。

Aug, 2020

本文介绍了 Metadata Normalization（MDN）层，一种用于深度学习框架的批处理级别操作，可以消除外部变量对特征分布的影响，MDN 采用传统预处理技术中的回归分析方法来进行操作。实验证明，该方法可以成功地从四个不同数据集中消除元数据影响。

Apr, 2021

本研究提出了一种使用梯度规范化的算法（GradNorm），在多任务网络的训练中能够自动平衡不同任务的训练误差，从而避免过拟合现象，提高准确率和性能，并且能够适用于各种网络结构、回归和分类任务，证明了梯度操作是解锁多任务学习潜力的关键之一。

Nov, 2017