Jul, 2021

使用恒定大学习率的SGD可收敛于局部最大值

HTML
PDF
TL;DR本文研究了随机梯度下降（SGD）算法的全局最优性，在探究了之前研究的局限性之后，发现在一些情况下，SGD可能表现出奇怪且不可取的行为。作者通过构建高维度的优化问题及数据分布，证明了SGD在大多数情况下会收敛到局部最大值，逃离鞍点所需时间会相当长，会偏爱锐利的最小值而非平坦的。文中还举了一个小型神经网络作为实例来验证理论，结果强调深度学习中SGD的重要性，需要同时分析小批量采样、离散时间更新和实际数据名称等因素。
发现论文，激发创造
  • 高维非凸优化中鞍点问题的识别与攻克

    本文根据统计物理学、随机矩阵理论、神经网络理论和实证证据，证明高维问题中鞍点而非局部极小值点是造成误差函数最小值难以求解的主要原因，因此，提出了一种新的二阶优化方法——无鞍牛顿法，用以快速逃脱高维鞍点并优化深度或递归神经网络。

    Jun, 2014

  • 一个替代观点：随机梯度下降在何时逃离局部极小值？

    本文研究证明随机梯度下降算法可以在一些非凸函数下工作，这说明了为什么SGD在神经网络中工作得非常好。

    Feb, 2018

  • 用随机梯度逃离鞍点

    本文研究了在某些非凸机器学习模型中，随机梯度沿负曲率方向的方差，并展示了这些方向上的随机梯度表现出强烈的分量；此外，本文提出了一种新的假设，根据这个假设，注入显式同方差噪声的普通随机梯度下降可以成功地替代梯度下降逃脱鞍点；最后，本文提出了基于相同假设的简单SGD步骤的第一个收敛率，此收敛率独立于问题的维度。

    Mar, 2018

  • 非凸随机梯度下降逃离鞍点的尖锐分析

    本文将通过对随机梯度下降进行深入分析，证明当目标函数满足梯度Lipschitz、Hessian-Lipschitz和发散噪声假设时，SGD能够在O（ε^ -3.5）次随机梯度计算中逃离鞍点并找到（ε，O（ε^ 0.5））-近似二阶稳定点，从而推翻了SGD至少需要O（ε^ - 4）的经典信念。此类SGD速率与大多数采用其他技术的加速非凸随机优化算法的速率相匹配，如Nesterov的动量加速，负曲率搜索，以及二次和三次正则化技巧。本文的新型分析为非凸SGD提供了新的见解，并可潜在地推广到广泛的随机优化算法类。

    Feb, 2019

  • 具有状态相关噪声的随机梯度下降动态

    通过研究具有状态相关噪声的随机梯度下降的动态行为，我们证明了幂律动态可以比之前的动态更快地从锐化极小值中逃脱，从而提出了一种新方法来进一步提高其概括能力。

    Jun, 2020

  • 深度学习中随机梯度下降泛化优于ADAM方法的理论解释

    该研究旨在通过分析局部收敛行为来解释为什么类似ADAM的适应性梯度算法的泛化性能比SGD差，尤其是它们在梯度噪声方面存在重尾现象；研究结果表明，SGD相比于ADAM能更好地从局部最小值中逃脱，并且在平缓的最小值处表现更好。实验结果证实了我们的理论假设。

    Oct, 2020

  • 随机坍塌: 梯度噪声如何将 SGD 动态吸引到更简单的子网络

    本研究揭示了SGD存在的强烈隐式偏差，由此驱使过度表达的神经网络倾向于变得更简单，从而显著减少独立参数数量，并改进了泛化能力。

    Jun, 2023

  • 随机梯度下降的噪声几何：定量和分析性特征化

    本文对超参数化线性模型和两层神经网络的噪声几何进行全面的理论研究，揭示了随机梯度下降在逃离尖锐极小值时存在沿平坦方向的显著分量。

    Oct, 2023

  • 关于无替换的SGD轨迹

    通过分析基于随机梯度下降（SGD）的隐式正则化效应，本文研究了SGD无替换的情况，并发现其与添加了一种新型正则化器时的最优化过程等价，导致其在损失函数空间中与注入噪声的GD和采样独立同分布的SGD有着明显不同的轨迹，并在某些视觉任务中鼓励损失函数海森矩阵的特征值谱中出现稀疏性。

    Dec, 2023

  • 使用损失面几何精确刻画SGD的稳定性

    我们深入探讨了随机梯度下降（SGD）的线性稳定性与锐利度之间的关系，并介绍了一种损失海森矩阵的一致性度量，用于判断 SGD 在最优点处的线性不稳定性。

    Jan, 2024