Jun, 2024

自适应方差约减在较弱假设下随机优化中的应用

PDF
TL;DR本篇论文探讨了基于 STORM 技术的自适应方差缩减方法。通过引入新设计的学习率策略，我们提出了一种新颖的自适应 STORM 方法，该方法对于非凸函数达到了最佳收敛率 O (T^-1/3)，同时无需额外的 O (log T) 项。我们还将该技术扩展到随机组合优化中，获得了相同的最佳收敛率 O (T^-1/3)。此外，我们还研究了非凸有限和问题，并开发了另一种创新的自适应方差缩减方法，该方法实现了最佳收敛率 O (n^1/4T^-1/2)，其中 n 表示组成函数的数量。通过各种任务的数值实验验证了我们方法的有效性。
adaptive variance reductionstorm techniqueconvergence ratenon-convex functionscompositional optimization
发现论文，激发创造
  • 基于动量的方差减少在非凸 SGD 中的应用

    STORM 是一种新的算法，可以用于非凸优化中的方差缩减技术，其不需要任何 batch，具备自适应学习率，相对其他技术，具备更简单易用的优点。

    May, 2019

  • 随机优化的随机平滑化

    本文研究了随机优化程序在非光滑凸优化问题中的收敛速度，与加速梯度方法相结合的随机平滑技术获得了期望和高概率的收敛速度，具有梯度估计方差的最优依赖性，这是首个针对非光滑优化问题的这种速率。作者给出了几个关于统计估计问题的应用，并提供了实验结果来证明所提算法的有效性。作者还描述了如何将他们的算法与最近研究的分布式优化结合起来，得到一个最优秩序的分布式随机优化算法。

    Mar, 2011

  • 基于方差减少的随机优化算法在具有有限和结构的无限数据集上的应用

    本文提出了针对复合目标强凸的情况下，带有方差约束的随机梯度下降法，其收敛速度优于传统的随机梯度下降法，同时常数因子也更小，只与输入数据的方差有关。

    Oct, 2016

  • 非凸优化的带方差约化随机交替方向乘子法

    本文介绍了基于不同减小方差的随机梯度的三种非凸随机交替方向乘子方法，包括 SVRG-ADMM、SAG-ADMM 和 SAGA-ADMM，并通过一些温和的条件建立了这些方法的迭代复杂度界限为 O (1/ε)，最后通过数值实验证明了方法的有效性。

    Oct, 2016

  • Kalman 梯度下降：随机优化中自适应方差减小

    介绍一种使用卡尔曼过滤器进行随机优化的算法，并分析了其在非凸设置下收敛性的理论，并在神经网络和黑盒变分推理等许多机器学习领域上展示了其改进的性能。同时，介绍了一种分布式版本的算法，并将其扩展到 SGD 动量和 RMSProp。

    Oct, 2018

  • 分布式随机梯度跟踪算法降低方差用于非凸优化

    本文提出了一种基于分布式随机算法的方差约简方法，以解决在多代理网络中进行大规模非凸有限和优化问题，提出了 GT-VR 算法，并证明了其收敛性和效率优于一些现有的一阶方法。

    Jun, 2021

  • 减小方差以实现更快的非凸优化

    本篇论文研究了非凸优化中高效到达稳定点的基本问题，并利用方差缩减技巧和适用于非凸优化的全新方差缩减分析提出一种首个非凸优化的一阶小批量随机算法，并在非凸损失函数和神经网络训练中表现出了有效性。

    Mar, 2016

  • 随机嵌套方差缩减非凸优化

    我们提出了一种基于嵌套方差降低的新随机梯度下降算法，可用于解决有限个数个、非凸函数的优化问题，并且在平滑非凸函数上具有比现有算法更好的梯度复杂度。

    Jun, 2018

  • 随机优化的自适应采样策略

    本论文提出了一种随机优化方法，该方法通过自适应地控制梯度近似计算中使用的样本量来减少方差，使用内积测试来决定增加样本量，并通过逻辑回归问题的数值实验验证了该算法的有效性。

    Oct, 2017

  • 通过方差减少方法的随机零阶优化

    本文提出一种基于随机零阶梯度与方差降低的高斯平滑的新型方法，用于优化非凸函数，特别是深度神经网络的黑盒攻击问题，并在实验中证明了其比现有的导数 - free 优化技术表现更优。

    May, 2018