ICMLJun, 2018

一个简单的随机方差减少算法，具有快速收敛速率

PDF
TL;DR本篇论文介绍了一种简单的随机方差减小 (MiG) 算法及其在强凸和非强凸问题中最佳的收敛速率，并在稀疏和异步情况下介绍了其有效的变体并在这些情况下理论化分析其收敛速率。最后，我们进行了大量的实验，如逻辑回归等，以证明在串行和异步设置中的实际改进。
stochastic variance reduced gradient methodsaccelerated methodssparse and asynchronous variantsconvergence ratesmachine learning
发现论文，激发创造
  • 随机梯度下降及其异步变体中的方差降低

    该研究探讨了基于方差缩减的优化算法，尤其是异步版本的 SVRG 和 SAGA 在机器学习中的应用和实验表现。研究结果表明，该方法在稀疏设置下实现了近线性加速。

    Jun, 2015

  • 带有邻居的方差减少随机梯度下降

    本论文研究如何利用训练数据的邻域结构来共享和复用过去随机梯度的信息，从而在瞬态优化阶段中提供优势，并提供了一个称为记忆化算法的方差减少族的统一收敛分析。

    Jun, 2015

  • 机器学习中具有动量加速作用的快速随机方差减少梯度方法

    本文提出了一种基于 Nesterov 的动量和增长 epoch size 技术设计的快速随机方差缩减梯度（FSVRG）方法，其具有较低的复杂度和强的收敛性，可以直接解决具有非平滑组件函数的问题，并在解决 logistic 回归，岭回归，套索和 SVM 等各种机器学习问题中优于 Katysha 方法。

    Mar, 2017

  • 基于随机洗牌的方差缩减随机学习

    本文研究基于方差减小的随机梯度算法，探究了随机数据抽样和随机重排的条件下的线性收敛性和新的 AVRG 算法，并给出了理论保证。

    Aug, 2017

  • ASVRG: 加速近端 SVRG

    本论文提出了一种加速的近端随机方差减少梯度（ASVRG）方法，它具有一种简单而有效的动量加速技巧，并证明在强凸和非强凸目标函数上都可以实现最佳已知的 oracle 复杂度。同时将 ASVRG 扩展到 mini-batch 基础上，并证明了理论结果，表明 ASVRG 的性能与现有的随机方法相当甚至更好。

    Oct, 2018

  • 随机梯度下降中方差与复杂度的权衡

    CheapSVRG is proposed as a new stochastic variance-reduction optimization scheme which achieves a linear convergence rate through a surrogate computation while also balancing computational complexity.

    Mar, 2016

  • 具有加速收敛的方差缩减分散随机优化

    本文提出一种名为 GTVR 的随机分散算法框架，其基于本地方差缩减和全局梯度跟踪的技术，用于解决大规模，有可能无法集中处理私有数据的优化问题。我们在本文中重点研究了 GTVR 并介绍了两种算法 GT-SAGA 和 GT-SVRG，证明它们在解决光滑问题上呈现出线性收敛，并实现了在网络独立下的线性速度提升。

    Dec, 2019

  • 非凸优化的随机方差缩减

    本研究分析了随机变量缩减梯度（SVRG）方法在非凸有限和问题中的应用，证明了其比随机梯度下降（SGD）和梯度下降（GD）更快收敛于固定点，并分析了一类 SVRG 在解决非凸问题上的线性收敛，同时研究了 mini-batch 变体的 SVRG 在并行设置中加速的外延。

    Mar, 2016

  • 使用负动量采样直接加速 SAGA

    本文提出了使用新型负采样动量的加速 SAGA 算法，以实现直接加速 SAGA 的目的，并在已知强凸性参数的强凸问题上实现了最优的预期复杂度。

    Jun, 2018

  • 无强凸性的方差缩减随机梯度线性收敛

    本研究介绍了 Prox-SVRG 及其投影变体 VRPSG 算法，用于解决一类在机器学习中广泛使用的非强凸优化问题。通过 SSC 不等式的使用，本文证明了两种算法可以在无强凸性的情况下实现线性收敛率。

    Jun, 2014