BriefGPT.xyz
Mar, 2022
非强凸最小二乘问题的加速随机梯度下降
Accelerated SGD for Non-Strongly-Convex Least Squares
HTML
PDF
Aditya Varre, Nicolas Flammarion
TL;DR
本文提出了一种基于加速梯度下降的新随机逼近算法，该算法在非强凸情况下取得了最佳预测误差率，并在加速遗忘初始条件方面达到了最优效果，同时在算法的平均迭代次数和最终迭代次数上均提供了收敛结果，该算法还在无噪声环境下提供了一个匹配下界，展示了我们算法的最优性。
Abstract
We consider
stochastic approximation
for the
least squares regression
problem in the non-strongly convex setting. We present the first practical algorithm that achieves the optimal
→