May, 2016

梯度下降仅收敛到极小值点：非孤立临界点和不变区域

PDF
TL;DR研究非凸二次可微成本函数的梯度下降问题，在一定的限制下得出收敛到鞍点的初始条件的测度为零的结论。此外，该结果扩展到前向不变凸子空间，并提供了可允许步长的上限。
gradient descentsaddle pointscost functionnegative eigenvaluelipschitz
发现论文，激发创造
  • 连续回溯梯度下降算法收敛至最小值

    证明在局部 Lipschitz 连续条件下的 $C^2$ 函数，给定一均值设定和一个阈值，存在一个光滑函数使得由其生成的下降序列不会收敛到虚假鞍点，并且其所有极限点都是函数的临界点。

    Nov, 2019

  • 梯度下降收敛于最小值点

    本文证明了随机初始化的梯度下降会收敛到局部最小值，证明使用了动力系统理论的 Stable Manifold Theorem。

    Feb, 2016

  • 如何高效地逃离鞍点

    本文研究表明惯性梯度下降法可以在较短的迭代次数内收敛于二阶稳定点，收敛速率与梯度下降到一阶稳定点的收敛速率匹配，当所有鞍点都是非退化的时，所有的二阶稳定点都是局部最小值，该结果表明惯性梯度下降法几乎可以在无成本的情况下脱离鞍点，并可直接应用于许多机器学习应用中，包括深度学习。

    Mar, 2017

  • 非凸问题何时不再可怕？

    通过二阶信赖域算法，我们可以高效地找到满足所有局部极小值点也是全局极小值点并且任何一点的方向曲率为负的非凸优化问题的全局极小解。

    Oct, 2015

  • 一类非凸非光滑优化问题的收敛保证

    对于非凸、非光滑函数的关键点寻找问题，本文研究了三种基于梯度的方法 (梯度下降、近端更新、弗兰克 - 沃尔夫更新) 的行为，并证明了这些算法的收敛速率，同时也为连续亚解析函数证明了更快的收敛速率，优化后的算法具有更低的迭代成本，并通过应用于最佳子集选择、鲁棒估计、混合密度估计和形状阴影重建等问题，展示了方法和理论的实际效果。

    Apr, 2018

  • 大学习速率下梯度下降的稳定性

    在本文中，我们证明了在使用二次损失函数优化的线性神经网络中，梯度下降映射是非奇异的，损失函数的全局极小化集合形成平滑流形，并且稳定的极小值在参数空间中形成有界子集。另外，我们证明了如果步长过大，则使梯度下降收敛到临界点的初始化集合的测度为零。

    Feb, 2024

  • 自适应梯度下降（无需下降）

    本文提供一个简明的证明，只需遵循两个规则即可自动化梯度下降：1）不要过快增加步长，2）不要超出局部曲率；通过遵循这些规则，可以得到对局部几何条件自适应的方法，收敛保证只取决于解的附近的平滑度，因此收敛于任何凸问题中，包括可以最小化任意连续两次可微的凸函数的问题，本文将探讨该方法在一系列凸和非凸问题上的性能。

    Oct, 2019

  • 随机梯度下降在非凸问题中的几乎必然收敛

    本文针对随机梯度下降算法在非凸问题中的收敛性进行轨迹分析，首先证明了在广泛的步长策略范围内，SGD 生成的迭代序列保持有界并以概率 1 收敛，随后证明了 SGD 避开了严格的鞍点 / 流形的概率是 1，最后证明了算法在采用 Theta (1/n^p) 步长时收敛速度为 O (1/n^p)，这为调整算法步长提供了重要的指导建议，并且在 CIFAR 的 ResNet 架构中，展示了此启发式方法加速收敛的效果。

    Jun, 2020

  • 梯度下降在较低限制割线不等式和上误差界下是最优的

    本研究重点关注函数满足较小限制的割线不等式和较大上限误差的函数类，可以在各采样梯度上分别满足一组简单条件，在所有一阶算法中，通过梯度下降法可以完全优化此类函数，从而导致收敛速率的下限。

    Mar, 2022

  • 非强凸凸凹鞍点问题的原始 - 对偶梯度法的线性收敛

    本研究针对具有凸 - 凹鞍点问题的优化进行了研究，证明了即使 $f$ 不强凸，使用一般的原始 - 对偶梯度方法也可以实现线性收敛，并给出了具有有限和结构的凸 - 凹鞍点问题的原始 - 对偶随机方差减少梯度方法的分析。

    Feb, 2018