BriefGPT.xyz
May, 2018
局部鞍点优化：一种曲率利用方法
Local Saddle Point Optimization: A Curvature Exploitation Approach
HTML
PDF
Leonard Adolphs, Hadi Daneshmand, Aurelien Lucchi, Thomas Hofmann
TL;DR
本文研究了基于梯度下降的优化方法在处理鞍点问题时的局限性，提出一种新的优化方法——利用曲率信息跳出非最优静态点，证明了采用曲率信息的梯度方法和Adagrad等方法都能够跳出非最优静态点，并在常见鞍点问题上提供了实证结果。
Abstract
gradient-based optimization
methods are the most popular choice for finding local optima for classical minimization and
saddle point problems
. Here, we highlight a systemic issue of gradient dynamics that arise f
→