NIPSOct, 2016

基于方差减少的随机优化算法在具有有限和结构的无限数据集上的应用

PDF
TL;DR本文提出了针对复合目标强凸的情况下，带有方差约束的随机梯度下降法，其收敛速度优于传统的随机梯度下降法，同时常数因子也更小，只与输入数据的方差有关。
stochastic optimizationvariance reductionstochastic gradient descentcomposite objectivestrongly convex
发现论文，激发创造
  • 机器学习的方差减少方法

    该综述对有限数据集的优化中方差缩减方法的主要原理和主要发展进行了概述，重点在于凸设定，并留下指向感兴趣的读者的指针。

    Oct, 2020

  • 具有增量式方差减少的随机组合梯度法

    本文提出了一种基于随机复合梯度法和增量方差缩减估计器的方法来最小化非凸函数的期望值和有限和，尽管丧失了复合梯度估计器的无偏性，但该方法达到了最佳已知一阶方法的复杂度，扩大了增量方差缩减方法在机器学习中的应用范围。

    Jun, 2019

  • 通过方差减少方法的随机零阶优化

    本文提出一种基于随机零阶梯度与方差降低的高斯平滑的新型方法，用于优化非凸函数，特别是深度神经网络的黑盒攻击问题，并在实验中证明了其比现有的导数 - free 优化技术表现更优。

    May, 2018

  • 分布式随机梯度跟踪算法降低方差用于非凸优化

    本文提出了一种基于分布式随机算法的方差约简方法，以解决在多代理网络中进行大规模非凸有限和优化问题，提出了 GT-VR 算法，并证明了其收敛性和效率优于一些现有的一阶方法。

    Jun, 2021

  • 方差降低梯度下降的有限和复合优化

    本文提出了两种算法解决有限和场景中的组合优化问题，并应用于机器学习、统计学和金融等领域，取得了比现有算法更好的收敛速度。

    Oct, 2016

  • Kalman 梯度下降：随机优化中自适应方差减小

    介绍一种使用卡尔曼过滤器进行随机优化的算法，并分析了其在非凸设置下收敛性的理论，并在神经网络和黑盒变分推理等许多机器学习领域上展示了其改进的性能。同时，介绍了一种分布式版本的算法，并将其扩展到 SGD 动量和 RMSProp。

    Oct, 2018

  • 随机复合优化的估计序列：方差降低、加速和对噪声的鲁棒性

    本文提出了一种新的基于梯度的随机凸复合优化方法，将估计序列概念推广到随机优化算法中，以一种简单通用的方式证明了众多随机优化算法的收敛性，并提出几种可靠性策略。

    Jan, 2019

  • 加速随机梯度下降求解有限和最小化

    本论文提出了一种优化方法，该方法融合了加速梯度下降、随机方差减少梯度的优点，适用于非强凸和强凸问题，并在效率和收敛速率上都有优异表现。

    Jun, 2015

  • 随机梯度下降中方差与复杂度的权衡

    CheapSVRG is proposed as a new stochastic variance-reduction optimization scheme which achieves a linear convergence rate through a surrogate computation while also balancing computational complexity.

    Mar, 2016

  • 轻量级随机优化方法用于最小化包含无限数据的有限和

    本研究提出了两种基于随机梯度下降的算法 (即随机样本平均梯度 (SSAG) 和随机 SAGA (S-SAGA))，以解决使用随机噪声来影响数据集时的期望风险最小化问题，其中 SSAG 收敛速度比 SGD 快，而 S-SAGA 在迭代复杂度和存储方面均优于 S-MISO，并且 SSAG 的存储成本不依赖样本大小，而 S-SAGA 的存储成本与未被扰动的数据上的方差降低方法相同。

    Jun, 2018