Jun, 2018

随机嵌套方差缩减非凸优化

PDF
TL;DR我们提出了一种基于嵌套方差降低的新随机梯度下降算法，可用于解决有限个数个、非凸函数的优化问题，并且在平滑非凸函数上具有比现有算法更好的梯度复杂度。
发现论文，激发创造
  • 通过随机嵌套方差缩减寻找局部最小值

    提出两个算法，其中一个利用随机嵌套方差降低算法能快速找到局部最小值， 算法在有限和一般随机非凸优化中的效果都优于现有算法，并进一步探索了目标函数的三阶光滑度加速优化的情况。

    Jun, 2018

  • 非凸优化的随机方差缩减

    本研究分析了随机变量缩减梯度（SVRG）方法在非凸有限和问题中的应用，证明了其比随机梯度下降（SGD）和梯度下降（GD）更快收敛于固定点，并分析了一类 SVRG 在解决非凸问题上的线性收敛，同时研究了 mini-batch 变体的 SVRG 在并行设置中加速的外延。

    Mar, 2016

  • 稳定 SVRG: 非凸优化的简单方差缩减

    该研究使用改进的 SVRG 算法创新性地找到一个非凸函数的二阶稳定点，并提出了使用稳定性 SVRG 算法的方法。

    May, 2019

  • 减小方差以实现更快的非凸优化

    本篇论文研究了非凸优化中高效到达稳定点的基本问题，并利用方差缩减技巧和适用于非凸优化的全新方差缩减分析提出一种首个非凸优化的一阶小批量随机算法，并在非凸损失函数和神经网络训练中表现出了有效性。

    Mar, 2016

  • 分散式随机非凸优化问题的混合方差缩减方法

    本文研究了分散式随机优化的网络问题，提出了一种新的单循环分散式混合降低方差随机梯度下降算法 GT-HSGD，并度量了其优化性能。

    Feb, 2021

  • 多级组合随机优化及嵌套方差缩减

    本文提出一种使用归一化近端梯度求解多层组合优化问题的方法，其中包含一系列随机平滑映射，在嵌套随机方差约减的帮助下获得近似梯度，其期望样本复杂度为 O（ϵ^-3），在有限求和的情况下为 O（N+√Nϵ^-2），其中 N 是所有组合级别上的函数总数。与以前的方法相比，我们的总样本复杂度在组合级别数量上的依赖性是多项式的，而不是指数的。

    Aug, 2019

  • 一种简单的近端随机梯度下降法用于非光滑非凸优化

    本文提出一种基于变量规约的 Proximal 随机梯度下降算法 (ProxSVRG+), 该算法在非凸性和非光滑性优化问题上具有更好的性能，并在收敛性分析方面比之前的算法更加全面和普适性更强。

    Feb, 2018

  • 随机方差减少的立方正则化牛顿法

    提出了随机方差约减的立方正则牛顿法，应用于非凸优化问题。该方法在半随机梯度和半随机海森矩阵的基础上工作，具有较低的复杂度，并在各种非凸优化问题上得到了验证。

    Feb, 2018

  • 随机非凸优化的混合随机梯度下降算法

    本文提出了使用混合随机估算器设计的混合随机梯度算法来解决非凸期望问题，该算法可以获得更好的复杂度，同时考虑不同的扩展，如使用自适应步长和不同的迭代方式。在使用两个非凸模型进行了多个数据集上的比较。

    May, 2019

  • 无强凸性的方差缩减随机梯度线性收敛

    本研究介绍了 Prox-SVRG 及其投影变体 VRPSG 算法，用于解决一类在机器学习中广泛使用的非强凸优化问题。通过 SSC 不等式的使用，本文证明了两种算法可以在无强凸性的情况下实现线性收敛率。

    Jun, 2014