提出了一个更简单、更符合生物学规律的通用归一化算法，可同时解决批归一化的两个主要限制：在线学习和循环学习，并提出了用不同统计矩阶数来进行归一化的 Lp 归一化方法，特别是 L1 归一化，其性能表现良好且计算速度快，更加符合生物学规律，因此非常适合 GPU 或硬件实现。

Oct, 2016

本篇论文详细研究了批量归一化在训练神经网络中的作用，以及其与其他优化方法的比较，主要目的是通过改进训练过程判断是否有可能在不使用批量归一化情况下有效地训练网络。

Aug, 2020

本文针对在线连续学习中使用批标准化（BN）时的非独立异分布和不稳定性的特征，提出 Continual Normalization (CN) 方法以缓解 BN 在老任务中的负面影响和低效率，并通过实验结果，说明 CN 可直接取代 BN 且可大幅提高性能。

Mar, 2022

本文提出一种基于层归一化的深度神经网络训练新方法，能够有效稳定循环神经网络中的隐藏状态动态，其训练时间较之前的技术有大幅度降低。

Jul, 2016

本文提出一种归一化技术 —— 分裂归一化法，包括批归一化和层归一化，并发现在使用这种技术时结合对激活函数的稀疏正则化可以提高卷积神经网络和循环神经网络的准确性。

Nov, 2016

本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

Jun, 2018

该论文讨论了深度神经网络训练中的内部协变量漂移问题，并通过在模型架构内加入标准化方法及在每个训练 mini-batch 的操作中进行标准化，解决了此问题，在 Image Classification 上取得了优秀的表现。

Feb, 2015

本文回顾和评价了正则化方法在深度神经网络训练中的过去、现在和未来，提供了有关优化背后动机的统一图像，并提出了理解其相似之处和差异的分类法。此外，对正则化激活方法的管道进行了分解，并讨论了应用正则化解决核心问题的具体任务的应用。

Sep, 2020

本文提出一种称为上下文归一化的新的归一化技术，用于图像数据。这种方法基于每个样本的特征调整特征的缩放，通过使数据值适应目标任务的上下文来提高模型的收敛速度和性能。在各种数据集上展示了上下文归一化的有效性，并将其性能与其他标准归一化技术进行了比较。

Mar, 2023

本文提出了一项引理来解释多种神经网络中的归一化方法，从而能够在统一的框架下解释归一化的概念。我们的结论是，这些归一化方法能够让权重的范数增大，可能会造成攻击性漏洞的风险，同时，证明这些归一化方法可以帮助稳定网络训练。

Jun, 2020