BriefGPT.xyz
Oct, 2019
自适应梯度下降（无需下降）
Adaptive gradient descent without descent
HTML
PDF
Yura Malitsky, Konstantin Mishchenko
TL;DR
本文提供一个简明的证明，只需遵循两个规则即可自动化梯度下降：1）不要过快增加步长，2）不要超出局部曲率；通过遵循这些规则，可以得到对局部几何条件自适应的方法，收敛保证只取决于解的附近的平滑度，因此收敛于任何凸问题中，包括可以最小化任意连续两次可微的凸函数的问题，本文将探讨该方法在一系列凸和非凸问题上的性能。
Abstract
We present a strikingly simple proof that two rules are sufficient to automate
gradient descent
: 1) don't increase the stepsize too fast and 2) don't overstep the
local curvature
. No need for functional values, n
→