本文研究了深度规范化 ReLU 网络的早期训练阶段，并通过研究有效学习率（LR）来解释梯度流的影响，发现使用大 LR 类似于对非线性 ODE 应用显式求解器，在第一步后导致底层出现过振荡和梯度消失，因此在深度，LR 和动量（可选）上需要进行精细调整，以保持总体平衡。

Jun, 2023

通过对 BN 的权重衰减及动量模型的应用，本文发现深度学习算法能够成功应用于具有指数增长学习速率的训练方式，证明了这种训练方式在各种标准结构中具有优秀的表现，并给出了数学解释和实例验证。

Oct, 2019

在深度强化学习和持续学习文献中，标准化层近年来得到了重新关注，几篇论文强调了其改善损失函数曲面条件和对抗高估偏差等多种好处；然而，标准化带来了一个微妙但重要的副作用：网络参数范数增长与有效学习率衰减之间的等价性，这在持续学习环境中变得有问题，因为有效学习率可能相对于学习问题的时间尺度过快地衰减至接近零。我们提出了一种称为 Normalize-and-Project（NaP）的简单重新参数化方法，将标准化层的插入与权重投影相结合，确保有效学习率在训练过程中保持恒定；该技术不仅是深度强化学习中更好地理解学习率调度的强大分析工具，还是在合成可塑性损失基准测试以及 Arcade Learning Environment 的单任务和顺序变体中提高非稳态稳健性的手段。我们还证明了我们的方法可以轻松应用于热门架构，如 ResNets 和 transformers，同时在常见的稳态基准测试中恢复并在某些情况下甚至稍微改善基础模型的性能。

Jul, 2024

本篇论文为 Batch Normalization 提供理论支持：即使在不同的学习速率下，通过 gradient descent 求解，BN 仍然可以使得收敛的速度达到最佳水平。

Dec, 2018

我们提出了一种具有鲁棒性、适用于批量和随机梯度下降的学习率的非线性更新规则，该方法可实现基于梯度观察的学习率逐步降低，最终达到高效收敛。

Mar, 2018

通过实验和理论分析，本文揭示了有限 LR 的 SGD（随机梯度下降）可以用 Ito 随机微分方程近似，且该近似可以捕捉常见深度神经网络的训练和泛化特性，提出了线性缩放规则的必要条件。

Feb, 2021

通过引入一种快速的迭代方法，可以最小化权重的 L2 范数，同时提高了测试准确率，从而为小批量数据提供了一种替代 CIFAR-10 和 ImageNet 的 ResNet-18 中的批量和分组规范化方法

Feb, 2019

本研究通过分析深度神经网络的梯度下降技术实现，提出了控制网络复杂度的隐含规范化方法，并将其归纳为梯度下降算法的内在偏差，说明这种方法可以解决深度学习中过拟合的问题。

Mar, 2019

学习率调度与优化算法的收敛性分析、学习率预热和调度优化方法的研究。

Oct, 2023

研究 Batch Normalization 和 L2 正则化在深度神经网络训练中的影响，发现 L2 正则化在与标准化结合使用时并没有规范化的作用，而是会影响权重的缩放和有效学习速率，还讨论了其他缓解这个问题的方法。

Jun, 2017