Feb, 2018

一种简单的近端随机梯度下降法用于非光滑非凸优化

PDF
TL;DR本文提出一种基于变量规约的 Proximal 随机梯度下降算法 (ProxSVRG+), 该算法在非凸性和非光滑性优化问题上具有更好的性能，并在收敛性分析方面比之前的算法更加全面和普适性更强。
stochastic gradientnonconvex optimizationproximal algorithmvariance reductionconvergence analysis
发现论文，激发创造
  • 快速无梯度近端随机非凸非光滑优化方法

    本文提出了两种新的零阶近端随机优化算法 ZO-ProxSVRG 和 ZO-ProxSAGA，它们利用了 SVRG 和 SAGA 的方差缩减技术，并证明了它们具有线性 $O (rac {1}{T})$ 的收敛速度，实验结果表明相比于现有的零阶近端随机算法，新算法有更快的收敛速度。

    Feb, 2019

  • 非凸优化的随机方差缩减

    本研究分析了随机变量缩减梯度（SVRG）方法在非凸有限和问题中的应用，证明了其比随机梯度下降（SGD）和梯度下降（GD）更快收敛于固定点，并分析了一类 SVRG 在解决非凸问题上的线性收敛，同时研究了 mini-batch 变体的 SVRG 在并行设置中加速的外延。

    Mar, 2016

  • 无强凸性的方差缩减随机梯度线性收敛

    本研究介绍了 Prox-SVRG 及其投影变体 VRPSG 算法，用于解决一类在机器学习中广泛使用的非强凸优化问题。通过 SSC 不等式的使用，本文证明了两种算法可以在无强凸性的情况下实现线性收敛率。

    Jun, 2014

  • 非光滑、非凸问题的近距离引导随机次梯度方法

    本文介绍了一种基于随机投影次梯度方法的弱凸（即均匀逼近正则）非光滑非凸函数的算法，并通过简单证明证明这种方法与用于光滑非凸问题的随机梯度方法具有相同的收敛速度；这似乎是第一个针对弱凸函数类的随机次（或确定性）梯度法的收敛速度分析。

    Jul, 2017

  • 加速随机梯度下降求解有限和最小化

    本论文提出了一种优化方法，该方法融合了加速梯度下降、随机方差减少梯度的优点，适用于非强凸和强凸问题，并在效率和收敛速率上都有优异表现。

    Jun, 2015

  • 非光滑非凸优化的快速随机方法

    本文研究随机算法优化非凸、非光滑的有限和问题。针对此问题，本文提出快速的随机算法，可获得常数迷你批量的收敛性。本文还使用这些算法的变种，证明了比批量近端梯度下降更快的收敛性，并在非凸、非光滑函数的一个子类中证明全局线性收敛率。

    May, 2016

  • 分散的非凸优化求和

    本文研究分散设置中的非凸函数求和最小化优化问题，提出了 PMGT-SVRG 算法的新的理论分析，证明了其方法的线性收敛性。然而，PMGT-SVRG 算法的收敛速度与条件数呈线性依赖关系，这对于病态问题而言是不理想的。为了解决这个问题，我们提出了一种结合加速、梯度跟踪和多共识混合技术的加速随机分散一阶算法，该方法的收敛速度与条件数呈平方根依赖关系。数值实验验证了我们提出算法在合成和真实数据集上理论保证的有效性。

    Feb, 2024

  • 随机嵌套方差缩减非凸优化

    我们提出了一种基于嵌套方差降低的新随机梯度下降算法，可用于解决有限个数个、非凸函数的优化问题，并且在平滑非凸函数上具有比现有算法更好的梯度复杂度。

    Jun, 2018

  • 随机近端梯度算法的收敛性

    本文基于凸优化中函数是光滑和非光滑组合的形式，证明了一种适用于大类凸优化问题的随机近端梯度算法收敛性质，其避免了平均化和理论研究中常见但实际中不一定满足的有界性假设，证明了一系列强、弱收敛性结果，并得到了期望意义下的 $O (1/n)$ 的有界性结果。

    Mar, 2014

  • VR-SGD: 一种简单的随机方差缩减机器学习方法

    本文提出了一种名为 VR-SGD 的变体随机梯度下降法，其使用平均值和上一个时期的最后迭代作为两个向量，能够直接解决非光滑和 / 或非强凸问题，并能够使用更大的学习率。此方法在解决各种机器学习问题，如凸和非凸的经验风险最小化以及特征值计算等方面，具有更快的收敛速度。

    Feb, 2018