Jan, 2024

使用损失面几何精确刻画SGD的稳定性

HTML
PDF
TL;DR我们深入探讨了随机梯度下降（SGD）的线性稳定性与锐利度之间的关系，并介绍了一种损失海森矩阵的一致性度量，用于判断 SGD 在最优点处的线性不稳定性。
发现论文，激发创造
  • 深度神经网络损失函数的极限方向与随机梯度下降步长的关系

    使用较小的学习率和SGD最陡峭的方向进行训练可以提高模型的训练速度和泛化能力，而较大的学习率或较小的批量大小将导致SGD进入更宽的区域。

    Jul, 2018

  • 非光滑凸损失的随机梯度下降稳定性

    本研究为首次探讨随机梯度下降算法（SGD）在非光滑凸损失函数上的一致稳定性，得出了相关上下限并基于此获得了多项新且有用的泛化误差界限和差分隐私非光滑随机凸优化算法，且显著优于同类算法。

    Jun, 2020

  • 随机梯度下降的稳定性和泛化的精细分析

    本文提供了一种算法——随机梯度下降的稳定性和泛化性的细致分析，通过消除梯度有界性、减轻光滑性和凸性函数的限制，提出了新的稳定性度量，并开发了受 SGD 迭代的风险控制的新型约束，给出了受最佳模型行为影响的泛化范围，从而在低噪声环境下使用稳定性方法得到了第一个快速上界。

    Jun, 2020

  • SGD稳定性：紧密度分析和改进的界限

    本文研究了随机梯度下降方法在训练大规模机器学习模型中的应用，分析了损失函数和数据分布对其泛化性能的影响，提出了改进的数据相关的上界和下降算法来进一步了解深度网络的泛化能力。

    Feb, 2021

  • 深度学习中稳定性边缘处的梯度下降理解

    研究了神经网络训练中的难点问题Edge of Stability，发现了一种新的内隐正则化机制，通过对最小化损失面的低维流动，提出对比以往对无穷小更新或梯度噪声的依赖。

    May, 2022

  • 自稳定性: 梯度下降在稳定边缘的隐性偏差

    本研究发现梯度下降在稳定边缘状态下具有自我稳定性和隐式偏差，可以通过投影梯度下降来描述，并对其在训练过程中的损失、尖锐度和偏差进行了详细预测和验证。

    Sep, 2022

  • 从群体损失的梯度流到随机梯度下降学习

    本文通过分析Gradient Flow在目标函数收敛时的性质，提供了SGD收敛的一般条件，研究了Lyapunov potentials与目标函数几何性质的关联，并给出了SGD收敛的保证，适用于一些复杂问题。

    Oct, 2022

  • 随机梯度下降中动态稳定的隐式正则化

    本文通过动态稳定性的角度研究了随机梯度下降法（SGD）的隐式正则化，并探讨了稳定的最小值对二层ReLU神经网络和对角线线性网络的广义性能影响，发现SGD的稳定性正则化较于GD更强，LR越大效果越明显，解释了为什么SGD比GD更具普适性。

    May, 2023

  • SGD的精确均方线性稳定性分析

    本文推导出了随机梯度下降法 (SGD)的稳定性阈值的显式表达式，并给出了与批量大小相关的最简单的必要稳定性条件。

    Jun, 2023

  • 基于锐度感知的最小化与稳定边缘

    最近的实验证明，使用梯度下降的神经网络在损失的Hessian算子范数增长到约等于2/步长η后，就开始在该值周围波动。我们对Sharpness-Aware Minimization（SAM）进行了类似的计算，得到了一个基于梯度范数的稳定边缘。通过三个深度学习训练任务的经验验证，我们发现SAM在该分析所确定的稳定边缘操作。

    Sep, 2023