本文研究了梯度下降法遇到鞍点问题，提出加入微扰可以提高非凸优化的效率，其在理论上和实验上均得到了支持。

May, 2017

本文研究了加速梯度方法在光滑非凸函数上的行为，提出了一类 Nesterov 型加速方法，并通过显式和隐式分析证明了其能够避免滑点并收敛于局部最小值。

Jul, 2023

该研究论文旨在提出一种新的算法 - 无鞍牛顿法，通过对梯度下降和拟牛顿方法的比较，研究表明高维空间中的鞍点可能是局部最小值的主要原因，而不是通常认为的局部最小值过多。该算法能够快速避免高维鞍点，特别是在深度神经网络的训练中具有优势。

May, 2014

本文研究表明惯性梯度下降法可以在较短的迭代次数内收敛于二阶稳定点，收敛速率与梯度下降到一阶稳定点的收敛速率匹配，当所有鞍点都是非退化的时，所有的二阶稳定点都是局部最小值，该结果表明惯性梯度下降法几乎可以在无成本的情况下脱离鞍点，并可直接应用于许多机器学习应用中，包括深度学习。

Mar, 2017

本文研究了优化问题中经典梯度下降方法的自然改进版，即归一化梯度下降，特别关注连续时间下降过程，发现 NGD 能够快速跳出鞍点，几乎不会收敛于鞍点。研究结果可以应用到全局收敛时间的界定。

Nov, 2017

本文根据统计物理学、随机矩阵理论、神经网络理论和实证证据，证明高维问题中鞍点而非局部极小值点是造成误差函数最小值难以求解的主要原因，因此，提出了一种新的二阶优化方法 —— 无鞍牛顿法，用以快速逃脱高维鞍点并优化深度或递归神经网络。

Jun, 2014

本文研究了一种自然随机优化程序，该程序由所谓的 Heavy-ball 方法微分方程推导而来，旨在最小化凸函数，提出了随机 Heavy-ball 方法，描述了其收敛性和极限定理。

Sep, 2016

本文提出了一种使用高阶导数的算法，能够逃离高维复杂的鞍点结构，并保证能够收敛到三阶局部最优解，是现有技术的两倍，同时也证明了进一步寻找四阶局部最优解是 NP-hard 的。

Feb, 2016

本文提供了一种新的噪声加入技术的视角，即将噪声添加到一阶信息中可以帮助从 Hessian 矩阵中提取负曲率，并通过分析一个简单的一阶过程提供了此视角的正式推理，然后提出了一种基于此技术和现有算法的一阶随机算法，实现了以几乎线性的时间复杂度（与问题的维度有关）找到接近于二阶稳定点的解的目标，从而在随机非凸优化上取得了最佳理论结果，甚至与凭借二阶信息的现有随机算法相媲美。

Nov, 2017

本文探讨了二阶稳定线性差分方程的解及其对无约束优化方法 - Heavy Ball 方法的削弱效果的影响，提出了改进算法，通过引入新的 Lyapunov 函数，使方法的收敛性在较少的限制条件下得到确立，并建议了一些重新启动技术来加速方法的收敛。

Nov, 2018