本文研究了梯度下降算法在非凸优化问题中的性能保证，发现梯度噪声对逃脱鞍点和到达二阶稳定点的效率起到了关键作用，提出了一个基于均方方法的替代方案来保证梯度噪声的相对方差较小就足以确保逃脱鞍点，而不需要注入其他噪声或采用全局分散噪声假设。

Aug, 2019

本文将通过对随机梯度下降进行深入分析，证明当目标函数满足梯度 Lipschitz、Hessian-Lipschitz 和发散噪声假设时，SGD 能够在 O（ε^ -3.5）次随机梯度计算中逃离鞍点并找到（ε，O（ε^ 0.5））- 近似二阶稳定点，从而推翻了 SGD 至少需要 O（ε^ - 4）的经典信念。此类 SGD 速率与大多数采用其他技术的加速非凸随机优化算法的速率相匹配，如 Nesterov 的动量加速，负曲率搜索，以及二次和三次正则化技巧。本文的新型分析为非凸 SGD 提供了新的见解，并可潜在地推广到广泛的随机优化算法类。

Feb, 2019

通过研究梯度下降优化动力学的一般形式，分析在逃离极值和其正则化效应方面的行为，提出了一个新颖的指标来表征逃离最小值的效率，并建立了两个条件来确定哪种类型的噪声结构在逃脱效率方面优于各向同性噪声。结果表明，随着与损失函数曲率的对齐，异性噪声有助于从尖锐和差的最小值中逃脱，趋向于更稳定、更平的最小值。

Mar, 2018

本文研究表明惯性梯度下降法可以在较短的迭代次数内收敛于二阶稳定点，收敛速率与梯度下降到一阶稳定点的收敛速率匹配，当所有鞍点都是非退化的时，所有的二阶稳定点都是局部最小值，该结果表明惯性梯度下降法几乎可以在无成本的情况下脱离鞍点，并可直接应用于许多机器学习应用中，包括深度学习。

Mar, 2017

本研究针对非凸函数的优化问题，通过分析其严格鞍点特性，提出了一种可有效优化的解法 —— 随机梯度下降法，并给出了其多项式迭代次数的局部最小值收敛保证以及应用于正交张量分解问题上的全局收敛保证。

Mar, 2015

本文对超参数化线性模型和两层神经网络的噪声几何进行全面的理论研究，揭示了随机梯度下降在逃离尖锐极小值时存在沿平坦方向的显著分量。

Oct, 2023

研究用于找到凸凹函数鞍点的随机一阶方法的性能。我们提出了一种简单有效的正则化技术，稳定迭代并提供有意义的性能保证，即使域和梯度噪声与迭代的大小成线性关系（可能是无界的）。此外，我们还将算法应用于强化学习中的特定问题，在无偏扩展的平均奖励 MDP 中，即使没有先验知识，也能找到接近最优策略的性能保证。

Feb, 2024

该论文研究了深度学习中广泛使用的自适应方法，如 Adam 和 RMSProp，将它们视为预处理的随机梯度下降算法，并提出了新的观点，旨在精确地描述它们在非凸情况下的行为和性能，并证明了它们比传统的 SGD 算法更快地从鞍点逃脱，并且在总体上更快地收敛到二阶稳定点。

Jan, 2019

通过选择合适的参数和注入噪音，我们分析了 Normalized Gradient Descent（NGD）这个非凸优化启发式方法，表明此方法能够逃避鞍点，并且证明了 NGD 收敛到局部最小值，而且 NGD 的收敛速度比 Ge 等人 2015 年提出的最快的一阶算法更快，我们将这个方法应用到在线张量分解问题上，并证明了在这个问题中，鞍点逃逸导致收敛到全局最小值。

Nov, 2016

对于现代机器学习应用中的最小化问题，研究了基于提纯的方法族，证明了在渐进条件下，从任意初始状态出发，研究中的策略几乎总能避免严格鞍点 / 子流形，从而为在流形上使用梯度方法提供了重要的可靠性验证。

Nov, 2023