一阶方法几乎总是避免鞍点

Oct, 2017

First-order Methods Almost Always Avoid Saddle Points

Jason D. Lee, Ioannis Panageas, Georgios Piliouras, Max Simchowitz, Michael I. Jordan...

TL;DR本研究表明，几乎所有初始化的一阶方法都可以避免鞍点问题，并且这种算法可以通过动态系统视角来研究，通过合适实例化的 Stable Manifold Theorem 进行全局稳定性分析。因此，除了初始化外，无需访问二阶导数信息或随机性即可证明避免鞍点。

Abstract

We establish that first-order methods avoid saddle points for almost all initializations. Our results apply to a wide variety of first-order meth

first-order methods saddle points global stability analysis dynamical systems stable manifold theorem

发现论文，激发创造

无梯度的零阶方法高效避免鞍点

本文研究了非凸优化中的无导数算法，利用有限差分器进行梯度逼近，最终提出了一种使用嘈杂的零阶方法来避免鞍点的算法，并在收敛速度上达到了与精确梯度接近的性能。

Oct, 2019

逃离鞍点的通用方法

本文介绍了一种通用框架，该框架在最小化 Hessian 基础计算的同时，能够收敛到二阶临界点，侧重于解决非凸优化中的关键问题：鞍点。经实证，该策略具有较好的实际性能。

Sep, 2017

如何高效地逃离鞍点

本文研究表明惯性梯度下降法可以在较短的迭代次数内收敛于二阶稳定点，收敛速率与梯度下降到一阶稳定点的收敛速率匹配，当所有鞍点都是非退化的时，所有的二阶稳定点都是局部最小值，该结果表明惯性梯度下降法几乎可以在无成本的情况下脱离鞍点，并可直接应用于许多机器学习应用中，包括深度学习。

Mar, 2017

逃离近乎线性时间的鞍点的一阶随机算法

本文提供了一种新的噪声加入技术的视角，即将噪声添加到一阶信息中可以帮助从 Hessian 矩阵中提取负曲率，并通过分析一个简单的一阶过程提供了此视角的正式推理，然后提出了一种基于此技术和现有算法的一阶随机算法，实现了以几乎线性的时间复杂度（与问题的维度有关）找到接近于二阶稳定点的解的目标，从而在随机非凸优化上取得了最佳理论结果，甚至与凭借二阶信息的现有随机算法相媲美。

Nov, 2017

高维非凸优化中鞍点问题的识别与攻克

本文根据统计物理学、随机矩阵理论、神经网络理论和实证证据，证明高维问题中鞍点而非局部极小值点是造成误差函数最小值难以求解的主要原因，因此，提出了一种新的二阶优化方法 —— 无鞍牛顿法，用以快速逃脱高维鞍点并优化深度或递归神经网络。

Jun, 2014

非凸优化中的鞍点问题

该研究论文旨在提出一种新的算法 - 无鞍牛顿法，通过对梯度下降和拟牛顿方法的比较，研究表明高维空间中的鞍点可能是局部最小值的主要原因，而不是通常认为的局部最小值过多。该算法能够快速避免高维鞍点，特别是在深度神经网络的训练中具有优势。

May, 2014

黎曼随机优化方法避免严格鞍点

对于现代机器学习应用中的最小化问题，研究了基于提纯的方法族，证明了在渐进条件下，从任意初始状态出发，研究中的策略几乎总能避免严格鞍点 / 子流形，从而为在流形上使用梯度方法提供了重要的可靠性验证。

Nov, 2023

梯度下降法在逃离鞍点时可能需要指数级的时间

本文研究了梯度下降法遇到鞍点问题，提出加入微扰可以提高非凸优化的效率，其在理论上和实验上均得到了支持。

May, 2017

非凸优化中逃离高阶鞍点的高效方法

本文提出了一种使用高阶导数的算法，能够逃离高维复杂的鞍点结构，并保证能够收敛到三阶局部最优解，是现有技术的两倍，同时也证明了进一步寻找四阶局部最优解是 NP-hard 的。

Feb, 2016

局部鞍点优化：一种曲率利用方法

本文研究了基于梯度下降的优化方法在处理鞍点问题时的局限性，提出一种新的优化方法 —— 利用曲率信息跳出非最优静态点，证明了采用曲率信息的梯度方法和 Adagrad 等方法都能够跳出非最优静态点，并在常见鞍点问题上提供了实证结果。

May, 2018