Jul, 2023

轨迹对齐：通过分岔理论理解稳定边缘现象

PDF
TL;DR通过实证研究，证明最大特征值（也被称为锐度）沿着梯度下降轨迹的演化呈现出一种叫做稳定边缘现象（EoS）的现象，进一步证明了在合适的重新参数化下，不同的梯度下降轨迹会在一个特定的分叉图上对齐，从而建立了锐度逐步增加和 EoS 现象的理论分析。
loss hessianevolutionsharpnessedge of stabilitytrajectory alignment
发现论文，激发创造
  • 深度学习中稳定性边缘处的梯度下降理解

    研究了神经网络训练中的难点问题 Edge of Stability，发现了一种新的内隐正则化机制，通过对最小化损失面的低维流动，提出对比以往对无穷小更新或梯度噪声的依赖。

    May, 2022

  • 自稳定性：梯度下降在稳定边缘的隐性偏差

    本研究发现梯度下降在稳定边缘状态下具有自我稳定性和隐式偏差，可以通过投影梯度下降来描述，并对其在训练过程中的损失、尖锐度和偏差进行了详细预测和验证。

    Sep, 2022

  • 大学习速率下梯度下降的稳定性

    在本文中，我们证明了在使用二次损失函数优化的线性神经网络中，梯度下降映射是非奇异的，损失函数的全局极小化集合形成平滑流形，并且稳定的极小值在参数空间中形成有界子集。另外，我们证明了如果步长过大，则使梯度下降收敛到临界点的初始化集合的测度为零。

    Feb, 2024

  • 高维分析揭示保守的锐化和随机稳定边缘

    在全批量情况下，训练损失 Hessian 的大特征值动态具有某些显著稳定的特征。在随机设置中，特征值的增长速度较慢，我们称之为保守锐化。我们提供了一个简单的高维模型的理论分析来解释这种减速现象。我们还展示了随机稳定边界的替代解释，它在小批量的情况下与神经切线核的迹有关，而不是大的 Hessian 特征值。我们进行了实验研究，突出了与全批量现象的定性差异，并表明控制随机稳定边界可以帮助优化。

    Apr, 2024

  • 神经网络训练中的普适锐度动态：固定点分析，稳定边缘和混沌路径

    通过对一种简化的 2 层线性网络模型的分析，我们揭示了梯度下降动力学中锐度现象背后的机制，包括锐度降低、渐进锐化和稳定边缘等，该模型的预测在实际场景中也具有普遍适用性。

    Nov, 2023

  • 梯度下降单调减小标量网络及其他解的梯度流锐度

    应用梯度下降 (GD) 到神经网络时，损失函数几乎从不呈单调递减。我们找到了一种随着 GD 训练而单调递减的量：梯度流解 (GFS) 所达到的锐度。在理论上，我们分析了具有平方损失的标量神经网络，这可能是出现 EoS 现象最简单的设置。我们在模型中证明了 GFS 锐度单调递减的结果，并表征了在标量网络中 GD 可以证明收敛到 EoS 的设置。从经验上看，我们展示了在平方回归模型以及实用的神经网络架构中，GD 单调递减 GFS 锐度。

    May, 2023

  • 基于锐度感知的最小化与稳定边缘

    最近的实验证明，使用梯度下降的神经网络在损失的 Hessian 算子范数增长到约等于 2 / 步长 η 后，就开始在该值周围波动。我们对 Sharpness-Aware Minimization（SAM）进行了类似的计算，得到了一个基于梯度范数的稳定边缘。通过三个深度学习训练任务的经验验证，我们发现 SAM 在该分析所确定的稳定边缘操作。

    Sep, 2023

  • 稳定性边界训练的原因 —— 分层雅可比对齐

    用指数欧拉求解器训练神经网络，以准确近似真实的梯度下降动态系统，证明了 Hessian 矩阵的锐度增加是由于网络的逐层 Jacobian 矩阵对齐导致的，而对齐程度与数据集大小呈幂律关系，相关性系数在 0.74 到 0.98 之间。

    May, 2024

  • 神经网络梯度下降通常发生在稳定边缘

    本研究通过实验证明神经网络训练目标的全批量梯度下降通常处于稳定性的边缘状态。在这种状态下，训练损失 Hessian 的最大特征值略高于数值 $2/ ext {(步长)}$，训练损失在短时间内呈现非单调行为，但在长时间尺度上保持下降态势。鉴于这种行为与优化领域中的一些传统观念不一致，我们的发现提出了关于这些观念是否与神经网络训练 relevant 的质疑。我们希望我们的研究能够激发未来针对稳定性边缘优化问题的进一步研究。

    Feb, 2021

  • 强化学习中的稳定边缘现象研究

    通过研究强化学习中的稳定性边界现象，发现优化动力学可以在不同的问题领域中发生转移，但深度强化学习的优化动力学在某些方面与监督学习不同。

    Jul, 2023