Mar, 2016

随机梯度下降中方差与复杂度的权衡

HTML
PDF
TL;DRCheapSVRG is proposed as a new stochastic variance-reduction optimization scheme which achieves a linear convergence rate through a surrogate computation while also balancing computational complexity.
发现论文，激发创造
  • 无强凸性的方差缩减随机梯度线性收敛

    本研究介绍了Prox-SVRG及其投影变体VRPSG算法，用于解决一类在机器学习中广泛使用的非强凸优化问题。通过SSC不等式的使用，本文证明了两种算法可以在无强凸性的情况下实现线性收敛率。

    Jun, 2014

  • 随机梯度下降及其异步变体中的方差降低

    该研究探讨了基于方差缩减的优化算法，尤其是异步版本的SVRG和SAGA在机器学习中的应用和实验表现。研究结果表明，该方法在稀疏设置下实现了近线性加速。

    Jun, 2015

  • 实用SVRG：停止浪费我的梯度

    本文介绍了多种提高随机方差减小梯度方法性能的策略，包括使用递减误差控制变量、使用递增批处理策略以及利用支撑向量减少计算。此外，本文还考虑了不同小批量选择策略和该方法的泛化误差问题。

    Nov, 2015

  • 非凸优化的随机方差缩减

    本研究分析了随机变量缩减梯度（SVRG）方法在非凸有限和问题中的应用，证明了其比随机梯度下降（SGD）和梯度下降（GD）更快收敛于固定点，并分析了一类SVRG在解决非凸问题上的线性收敛，同时研究了mini-batch变体的SVRG在并行设置中加速的外延。

    Mar, 2016

  • 机器学习中具有动量加速作用的快速随机方差减少梯度方法

    本文提出了一种基于Nesterov的动量和增长epoch size技术设计的快速随机方差缩减梯度（FSVRG）方法，其具有较低的复杂度和强的收敛性，可以直接解决具有非平滑组件函数的问题，并在解决logistic回归，岭回归，套索和SVM等各种机器学习问题中优于Katysha方法。

    Mar, 2017

  • VR-SGD: 一种简单的随机方差缩减机器学习方法

    本文提出了一种名为VR-SGD的变体随机梯度下降法，其使用平均值和上一个时期的最后迭代作为两个向量，能够直接解决非光滑和/或非强凸问题，并能够使用更大的学习率。此方法在解决各种机器学习问题，如凸和非凸的经验风险最小化以及特征值计算等方面，具有更快的收敛速度。

    Feb, 2018

  • 一个简单的随机方差减少算法，具有快速收敛速率

    本篇论文介绍了一种简单的随机方差减小(MiG)算法及其在强凸和非强凸问题中最佳的收敛速率，并在稀疏和异步情况下介绍了其有效的变体并在这些情况下理论化分析其收敛速率。最后，我们进行了大量的实验，如逻辑回归等，以证明在串行和异步设置中的实际改进。

    Jun, 2018

  • ASVRG: 加速近端SVRG

    本论文提出了一种加速的近端随机方差减少梯度（ASVRG）方法，它具有一种简单而有效的动量加速技巧，并证明在强凸和非强凸目标函数上都可以实现最佳已知的 oracle 复杂度。同时将 ASVRG 扩展到 mini-batch 基础上，并证明了理论结果，表明 ASVRG 的性能与现有的随机方法相当甚至更好。

    Oct, 2018

  • 深度学习中方差缩减优化算法的无效性

    本文探讨了随机方差缩小技术在优化中的应用，研究发现在训练现代深度神经网络中，由于遇到难解的非凸优化问题，直接应用SVRG技术等方法效果不佳。

    Dec, 2018

  • 机器学习的方差减少方法

    该综述对有限数据集的优化中方差缩减方法的主要原理和主要发展进行了概述，重点在于凸设定，并留下指向感兴趣的读者的指针。

    Oct, 2020