随机梯度下降,加权抽样和随机Kaczmarz 算法
本文提出了一个新的随机梯度方法用于优化一组平滑函数的和,其中和是强凸的。与标准随机梯度方法在这个问题上的次线性收敛相比,该方法通过记忆之前的梯度值来实现线性收敛率。在机器学习的背景下,数值实验表明,该方法可以明显优于标准算法,不仅在优化训练误差方面,而且可以快速降低测试误差。
Feb, 2012
研究了基于Nesterov的对偶平均算法的随机优化算法,在预期损失是强凸的且最优解是(近似)稀疏的问题上进行优化,证明了在局部Lipschitz损失下,在T轮迭代后,我们的解决方案的误差最多为O((slogp)/T),并确立了我们的收敛率是最佳的,且在数值模拟中通过对最小二乘回归问题进行几个基准线的比较,证实了我们方法的有效性。
Jul, 2012
提出了一种利用小批量方案改进半随机梯度下降(S2GD)方法的 mS2GD,该方法主要用于最小化一个由很多光滑凸函数的平均值和一个简单的非光滑凸正则化器组成的强凸函数,分析表明,该方法在具有小批量效应和简单并行实现方案的情况下,可以加速算法的收敛过程。
Apr, 2015
提出了一种新的随机L-BFGS算法,并证明了它对于强凸平滑函数具有线性收敛率。这种算法对于大规模的凸和非凸优化问题表现出色,具有快速求解高精度的线性收敛率,对于多种步幅表现良好。
Aug, 2015
证明在L-平滑度条件下, 随机梯度下降的迭代收敛速度的数量级为O(LR2exp[-(mu/4L)T]+sigma2/muT),其中sigma2是随机噪声方差, 且收敛速度与最佳已知的GD和SGD迭代复杂度匹配.
Jul, 2019
本文提出一种新的随机优化原理,即使用 Blanchet 和 Glynn 的多级 Monte-Carlo 方法将任何最优随机梯度方法转换为 $x_*$ 的估计量,以此为基础获得了一种廉价且几乎无偏差的梯度估计器,可以应用于随机优化的多个领域,如随机优化,概率图形模型推理以及优化的机器学习等。
Jun, 2021
本论文介绍了通过使用随机梯度算法来近似解决高斯过程中线性系统求解的限制,并利用影响收敛的隐含偏差的谱特点来解释结果,最终在大规模数据集上取得了最先进的预测性能和不确定性估计。
Jun, 2023