BriefGPT.xyz
Jul, 2023
通过长步长可证明更快的梯度下降算法
Provably Faster Gradient Descent via Long Steps
HTML
PDF
Benjamin Grimmer
TL;DR
本研究利用计算机辅助分析技术，建立了梯度下降的收敛速度证明，并通过分析多次迭代的总体效果，描述了长步策略可能违反下降性质但能实现更快的收敛速度。
Abstract
This work establishes provably faster
convergence rates
for
gradient descent
via a computer-assisted analysis technique. Our theory allows nonconstant
→