Sep, 2016

少于一次迭代：随机控制的随机梯度下降法

HTML
PDF
TL;DR研究表明，我们开发并分析了一种基于梯度的优化过程，我们称之为随机控制随机梯度（SCSG）。作为SVRG算法集合中的一员，SCSG利用了两个尺度上的梯度估计，在快速尺度上的更新次数受到几何随机变量的控制。与大多数现有算法不同，SCSG的计算成本和通信成本不一定与样本大小n成线性比例关系；实际上，当目标精度较低时，这些成本与n无关。对真实数据集的实验评估确认SCSG的有效性。
发现论文，激发创造
  • 利用结构加速SGD的随机平滑方法

    本文提出了一种加速的非平滑随机梯度下降算法- ANSGD，该算法利用常见非平滑损失函数的结构来实现一类问题（包括SVM）的最优收敛速率，是第一个能够实现最优O（1/t）率的随机算法来最小化非平滑损失函数的算法，经实证比较表明，ANSGD明显优于以前的次梯度下降算法，包括SGD。

    May, 2012

  • 半随机梯度下降方法

    本文提出了一种名为S2GD的新方法，为解决优化大量平滑凸损失函数的平均最小化问题，文章指出其期望工作量可以通过几个步骤推导得出。

    Dec, 2013

  • 实用SVRG：停止浪费我的梯度

    本文介绍了多种提高随机方差减小梯度方法性能的策略，包括使用递减误差控制变量、使用递增批处理策略以及利用支撑向量减少计算。此外，本文还考虑了不同小批量选择策略和该方法的泛化误差问题。

    Nov, 2015

  • 非凸优化的随机方差缩减

    本研究分析了随机变量缩减梯度（SVRG）方法在非凸有限和问题中的应用，证明了其比随机梯度下降（SGD）和梯度下降（GD）更快收敛于固定点，并分析了一类SVRG在解决非凸问题上的线性收敛，同时研究了mini-batch变体的SVRG在并行设置中加速的外延。

    Mar, 2016

  • 随机梯度下降中方差与复杂度的权衡

    CheapSVRG is proposed as a new stochastic variance-reduction optimization scheme which achieves a linear convergence rate through a surrogate computation while also balancing computational complexity.

    Mar, 2016

  • 随机梯度下降优化方法的适应性

    该研究介绍了一种名为SCSG的自适应算法，通过批量方差降低和几何随机变量技术，该算法对强凸性和目标精度具有适应性，实现了比其他已有适应性算法更好的理论复杂度。

    Apr, 2019

  • 无痛随机梯度: 插值，线性搜索和收敛速率

    本文提出了一种使用线性搜索技术自动设置步长的随机梯度下降算法，在数据插值设置中，使用 Armijo 线性搜索方法的 SGD 实现凸和强凸函数的确定性收敛率，同时提出了一种 Lipschitz 线性搜索策略的随机额外梯度的算法，该算法在满足嵌入条件的非凸问题和鞍点问题的情况下实现了线性收敛率，并在标准分类任务上表现出了良好的性能。

    May, 2019

  • 利用统计学自动化随机优化

    提出一种基于统计检验的适应性方法，通过检测随机梯度下降算法的动态变化达到均衡状态后衰减学习率，解决了手动调参的繁琐问题，实现了类似于手动调参的性能并在多个深度学习任务中得到了验证。

    Sep, 2019

  • 使用随机梯度下降从高斯过程后验分布中进行采样

    本论文介绍了通过使用随机梯度算法来近似解决高斯过程中线性系统求解的限制，并利用影响收敛的隐含偏差的谱特点来解释结果，最终在大规模数据集上取得了最先进的预测性能和不确定性估计。

    Jun, 2023

  • 随机平均梯度：简单实证研究

    我们比较了随机平均梯度 (SAG) 与一些经典机器学习优化算法，并提出了将 SAG 与动量算法和Adam相结合的方法，这些组合在优化函数时表现出更高的速度和更好的性能。

    Jul, 2023