Mar, 2024

使用 Polyak 动量的非凸随机复合优化

PDF
TL;DR该论文研究了在采用小型或有界批量大小时，在非凸设置中具有重要意义的随机近端梯度法，证明了该方法在非凸复合优化问题中达到最优的收敛速度，并且严格分析了 Polyak 动量在复合优化设置中的方差缩减效应，同时证明了在近似解决近端步骤的情况下，该方法仍然收敛，并通过数值实验验证了我们的理论结果。
stochastic proximal gradient methodpolyak momentumconvergence ratenon-convex composite optimization problemsvariance reduction effect
发现论文，激发创造
  • 带动量的随机梯度方法收敛于非光滑非凸优化问题

    本文介绍了一种随机子梯度方法，该方法结合了动量项，能够在一类广泛意义下的非光滑、非凸和受约束的优化问题中建立一个特殊的李亚普诺夫函数，实现快速收敛。

    Feb, 2020

  • 随机梯度、牛顿、近端点和子空间下降方法的动量和随机动量

    本文研究了几种被重量球动量丰富的随机优化算法，证明了它们的全局非渐进线性收敛速率，并在稀疏数据环境下提出了随机动量，证明了它对于带有动量的算法有更好的整体复杂度。

    Dec, 2017

  • 非凸优化问题的带动量近端梯度下降收敛分析

    在非凸优化问题中，本文研究了加速近端梯度法 (APGnc) 以及基于其的随机方差减少 (APGnc) 算法，证明了其所生成的序列的极限点是目标函数的临界点，并通过 KL 函数的性质获得了线性和次线性的收敛速率。

    May, 2017

  • 带有动量的 Polyak 步骤的复杂度保证

    本文通过研究一种基于 Polyak 步骤的方法，使得在平滑强凸最优化问题中，即使没有强凸性参数知识，也可以获得简单的带加速收敛率的优化方法，并在此基础上给出了具有收敛保证的带 Polyak 步骤和动量的加速梯度方法。

    Feb, 2020

  • Polyak 学习率的随机梯度下降

    本文提出将 Subgradient 方法中的 Polyak 步长推广到随机梯度下降中，并证明了该算法可以在非渐进情况下以更好的速率收敛于优化解，该算法在训练深度神经网络等问题上表现良好。

    Mar, 2019

  • Katyusha X: 随机非凸和优化的实用动量方法

    本文提出一种加速的随机算法来最小化凸函数的总和，该算法适用于机器学习和凸函数非凸平均问题，并使用动量提高了算法性能，同时可实现小批量并行计算。

    Feb, 2018

  • 非光滑、非凸问题的近距离引导随机次梯度方法

    本文介绍了一种基于随机投影次梯度方法的弱凸（即均匀逼近正则）非光滑非凸函数的算法，并通过简单证明证明这种方法与用于光滑非凸问题的随机梯度方法具有相同的收敛速度；这似乎是第一个针对弱凸函数类的随机次（或确定性）梯度法的收敛速度分析。

    Jul, 2017

  • 随机近端梯度算法的收敛性

    本文基于凸优化中函数是光滑和非光滑组合的形式，证明了一种适用于大类凸优化问题的随机近端梯度算法收敛性质，其避免了平均化和理论研究中常见但实际中不一定满足的有界性假设，证明了一系列强、弱收敛性结果，并得到了期望意义下的 $O (1/n)$ 的有界性结果。

    Mar, 2014

  • 随机（近似）近端点法：收敛性，最优性和适应性

    本文提出了基于模型的方法，解决随机凸优化问题，并介绍了近似近端点（aProx）家族，包括随机次梯度、近端点和束方法。通过适当准确的建模方法，这些方法享有比传统方法更强的收敛性和鲁棒性保证，即使与随机次梯度方法相比，基于模型的方法通常增加很少甚至没有计算开销。

    Oct, 2018

  • 用于凸优化的 Shuffling Momentum Gradient 算法

    本文通过对分类的动量渐变法的分析，对有限和强凸优化问题进行了研究，并取得了与现有文献中最好成绩相匹配的结果。

    Mar, 2024