BriefGPT.xyz
Nov, 2017
快速非凸优化的随机三次正则化
Stochastic Cubic Regularization for Fast Nonconvex Optimization
HTML
PDF
Nilesh Tripuraneni, Mitchell Stern, Chi Jin, Jeffrey Regier, Michael I. Jordan
TL;DR
本文提出了一个随机变体的经典算法--立方正则化牛顿方法。该算法可以有效地避免鞍点问题，并在仅需要$\mathcal{\tilde{O}}(\epsilon^{-3.5})$个随机梯度和随机海森向量乘积评估的情况下，为一般光滑的非凸函数找到近似的局部极小值。
Abstract
This paper proposes a
stochastic variant
of a classic algorithm---the
cubic-regularized newton method
[Nesterov and Polyak 2006]. The proposed algorithm efficiently escapes
→