Jun, 2023

有效学习率的扩展：早期训练中批量归一化的风险

PDF
TL;DR本文研究了深度规范化 ReLU 网络的早期训练阶段，并通过研究有效学习率（LR）来解释梯度流的影响，发现使用大 LR 类似于对非线性 ODE 应用显式求解器，在第一步后导致底层出现过振荡和梯度消失，因此在深度，LR 和动量（可选）上需要进行精细调整，以保持总体平衡。
deep networksrelu networksbatch normalizationlearning ratesearly training dynamics
发现论文，激发创造
  • 将现代深度学习与传统优化分析调和：内在学习速率

    本研究通过建立适当的随机微分方程、分析训练轨迹和实验，提出了深度学习中标准化网络的行为远离传统视角的其他方面，并发现了基于 “内部学习率” 的参数，控制了学习的速度和均衡，在深度学习优化和泛化方面具有新的挑战和实验结论，这些结果对于深度学习中的规范化技术具有丰富的理论和实践意义。

    Oct, 2020

  • 强化学习中的归一化与有效学习率

    在深度强化学习和持续学习文献中，标准化层近年来得到了重新关注，几篇论文强调了其改善损失函数曲面条件和对抗高估偏差等多种好处；然而，标准化带来了一个微妙但重要的副作用：网络参数范数增长与有效学习率衰减之间的等价性，这在持续学习环境中变得有问题，因为有效学习率可能相对于学习问题的时间尺度过快地衰减至接近零。我们提出了一种称为 Normalize-and-Project（NaP）的简单重新参数化方法，将标准化层的插入与权重投影相结合，确保有效学习率在训练过程中保持恒定；该技术不仅是深度强化学习中更好地理解学习率调度的强大分析工具，还是在合成可塑性损失基准测试以及 Arcade Learning Environment 的单任务和顺序变体中提高非稳态稳健性的手段。我们还证明了我们的方法可以轻松应用于热门架构，如 ResNets 和 transformers，同时在常见的稳态基准测试中恢复并在某些情况下甚至稍微改善基础模型的性能。

    Jul, 2024

  • BN 与 ReLU 之间的不协调导致梯度爆炸，但被激活之间的相关性所抵消

    讲述了基于批归一化和 ReLU 的深度神经网络存在于训练早期不稳定的情况，提出了更好的适应性学习率算法来替代现有的学习率缩放方法，该算法在大批量训练中表现优于现有方法。

    Apr, 2023

  • 深度学习指数学习率调度

    通过对 BN 的权重衰减及动量模型的应用，本文发现深度学习算法能够成功应用于具有指数增长学习速率的训练方式，证明了这种训练方式在各种标准结构中具有优秀的表现，并给出了数学解释和实例验证。

    Oct, 2019

  • 趋向无深度限制的训练：无梯度爆炸的批归一化

    在这项研究中，我们设计了一种带有线性激活函数和批归一化的多层感知机模型，通过 Weingarten 微积分方法从理论上证明了其正向信号传播特性的精确表征，并证明了在线性独立的输入样本情况下渐近地保持梯度有界的特性。同时，我们还提出了一种激活函数塑形方案，能够在某些非线性激活函数下实现类似的特性。

    Oct, 2023

  • 批归一化的指数收敛速率：在非凸优化中实现长度 - 方向解耦的力量

    我们通过对多个机器学习实例进行研究，证明了 Batch Normalization 在优化任务中的加速效果源于其将参数长度和方向分开进行优化，针对这些机器学习问题，Batch Normalization 可以是一种收敛算法。

    May, 2018

  • 批归一化的平均场理论

    我们研究了全连接前馈神经网络的批标准化问题，并提出了一种均值场理论。研究表明，批标准化会导致梯度爆炸，而这种爆炸无法通过调节初始权重方差或调整非线性激活函数来消除。然而，我们可以通过将网络调整到线性区域来减少梯度爆炸，从而提高网络的可训练性。此外，我们还研究了批标准化网络的学习动态。

    Feb, 2019

  • 大学习率提高泛化性能：我们所讨论的是多大的学习率？

    基于最近的研究建议使用较大的学习率（LRs）来进行神经网络训练以获得最佳泛化效果，我们详细研究了这一假设，并明确了提供后续小学习率或权重平均训练的最佳结果的初始 LR 范围，发现这些范围实际上比通常假设的范围显著窄，我们在一个简化的设置中进行主要实验以精确控制学习率超参数，并在更实际的环境中验证了我们的关键发现。

    Nov, 2023

  • Batch Normalization 自动调速的理论分析

    本篇论文为 Batch Normalization 提供理论支持：即使在不同的学习速率下，通过 gradient descent 求解，BN 仍然可以使得收敛的速度达到最佳水平。

    Dec, 2018

  • 理解批标准化

    本文旨在通过实证研究向更好地理解批归一化的原理和机制迈出一步，证明批归一化主要实现了更大学习率的训练，这是更快收敛和更好泛化的原因。

    Jun, 2018