MMJun, 2017

SCSG 方法求解非凸有限和优化问题

PDF
TL;DR开发了基于 Stochastically Controlled Stochastic Gradient Method 的算法，可用于非凸的有限和优化问题，并取得了优于随机梯度下降的表现。在满足 Polyak-Lojasiewicz Condition 约束的函数中，同样实现了加速优化，实验表明在训练多层神经网络方面，该方法优于随机梯度下降。
发现论文，激发创造
  • 随机梯度下降优化方法的适应性

    该研究介绍了一种名为 SCSG 的自适应算法，通过批量方差降低和几何随机变量技术，该算法对强凸性和目标精度具有适应性，实现了比其他已有适应性算法更好的理论复杂度。

    Apr, 2019

  • 少于一次迭代：随机控制的随机梯度下降法

    研究表明，我们开发并分析了一种基于梯度的优化过程，我们称之为随机控制随机梯度（SCSG）。作为 SVRG 算法集合中的一员，SCSG 利用了两个尺度上的梯度估计，在快速尺度上的更新次数受到几何随机变量的控制。与大多数现有算法不同，SCSG 的计算成本和通信成本不一定与样本大小 n 成线性比例关系；实际上，当目标精度较低时，这些成本与 n 无关。对真实数据集的实验评估确认 SCSG 的有效性。

    Sep, 2016

  • 随机嵌套方差缩减非凸优化

    我们提出了一种基于嵌套方差降低的新随机梯度下降算法，可用于解决有限个数个、非凸函数的优化问题，并且在平滑非凸函数上具有比现有算法更好的梯度复杂度。

    Jun, 2018

  • 一种简单的近端随机梯度下降法用于非光滑非凸优化

    本文提出一种基于变量规约的 Proximal 随机梯度下降算法 (ProxSVRG+), 该算法在非凸性和非光滑性优化问题上具有更好的性能，并在收敛性分析方面比之前的算法更加全面和普适性更强。

    Feb, 2018

  • 非凸条件梯度滑动

    本文研究了一种无需投影的方法，即非凸条件梯度滑动（NCGS）在分批、随机和有限和非凸问题中的应用，并提出了一种非凸条件梯度滑动方法，该方法在批处理、随机和有限和设置中优于非凸 Frank-Wolfe 方法。

    Aug, 2017

  • 随机平均梯度下降法最小化有限和

    本文提出了基于随机平均梯度方法的优化算法，它克服了黑匣子随机梯度方法的缺点，具有更快的收敛速度和更少的梯度评估数量。实验表明，该算法在许多情况下都优于现有的随机梯度方法和确定性梯度方法，并且可以通过非均匀采样策略进一步提高表现。

    Sep, 2013

  • 加速随机梯度下降求解有限和最小化

    本论文提出了一种优化方法，该方法融合了加速梯度下降、随机方差减少梯度的优点，适用于非强凸和强凸问题，并在效率和收敛速率上都有优异表现。

    Jun, 2015

  • 非光滑非凸正则化优化的简单随机梯度方法

    本研究旨在探讨优化非光滑非凸正则化器下的平滑非凸损失函数的随机梯度方法。我们提出了两种简单的随机梯度算法，对于有限总和和一般随机优化问题，相较于现有技术水平，其具有更优的收敛复杂度。同时，我们在经验风险最小化中比较了两种算法的实际表现。

    Jan, 2019

  • 非凸世界中 SGD 的更好理论

    本篇论文使用类似于期望光滑性假设的新方法来研究随机梯度下降法在非凸优化中的收敛率，并在考虑多种采样策略和小批量大小的情况下，探讨有限和优化问题的影响。

    Feb, 2020

  • 非凸强凹极小 - 极大优化的复杂性

    本文研究非凸强凹（NC-SC）平滑极小值问题的近似稳定点的复杂度，在一般和平均平滑有限和设置中建立了非平凡的较低复杂度下界。我们提出了一种通用的加速方案，使用现有的基于梯度的方法来解决一系列的精心制作的强凸 - 强凹子问题，进而缩小了复杂度差距，尤其是在一般情况下，我们提出的算法的复杂度几乎与下界相当。

    Mar, 2021