BriefGPT.xyz
Nov, 2023
梯度下降的非均匀平滑性
Non-Uniform Smoothness for Gradient Descent
HTML
PDF
Albert S. Berahas, Lindon Roberts, Fred Roosta
TL;DR
该研究介绍了一种局部一阶平滑性oracle（LFSO），可以用于调整梯度下降方法的步长，从而改善全局和局部收敛性。通过应用LFSO于修正的一阶方法，可以在非强凸问题中实现全局线性收敛速度，从而提高了一般（加速）一阶方法的收敛率下界。
Abstract
The analysis of
gradient descent
-type methods typically relies on the
lipschitz continuity
of the objective gradient. This generally requires an expensive
→