May, 2016

Barzilai-Borwein 随机梯度下降步长

PDF
TL;DR该研究使用 Barzilai-Borwein 方法自动计算 Stochastic Gradient Descent（SGD）和 Stochastic Variance Reduced Gradient（SVRG）算法的步长，证明了 SVRG-BB 在强凸目标函数上线性收敛的结果，并在标准数据集上进行了数字实验，得出了 SGD-BB 和 SVRG-BB 相对于 SGD 和 SVRG 在性能上更好的结论。
stochastic gradient descentstep sizebarzilai-borwein methodsvrg methodlinear convergence
发现论文，激发创造
  • 稳定的 Barzilai-Borwein 步长的随机非凸序嵌入

    通过引入一种新的稳定 Barzilai-Borwein (SBB) 方法，我们提出了一种叫做 SVRG-SBB 的随机算法，用于从相对相似性比较中学习表示，该方法不需要使用奇异值分解（SVD），具有良好的可扩展性以及自适应步长选择。 同时，我们通过仿真和实验的方法，展示了该算法与最先进的方法相比，具有更低的计算成本和良好的预测性能。

    Nov, 2017

  • 随机梯度下降中方差与复杂度的权衡

    CheapSVRG is proposed as a new stochastic variance-reduction optimization scheme which achieves a linear convergence rate through a surrogate computation while also balancing computational complexity.

    Mar, 2016

  • 带对角 Barzilai-Borwein 步长的变尺度近端梯度法

    本文提出了一种自适应度量选择策略，称为对角巴比勒 - 博因步长，以改进在凸优化问题上使用变量计量近端梯度（VM-PG）算法；该新方法显著改善了 VM-PG 的理论收敛性，并且在使用合成和真实数据集的机器学习问题中表现出了改进的收敛结果。

    Oct, 2019

  • 自适应预条件化随机梯度下降的步长

    该研究提出了一种新颖的自适应步长方法来解决随机梯度下降（SGD）中的问题，通过利用我们识别出的可追踪的量（梯度的 Lipschitz 常数和搜索方向的局部方差的概念），我们的发现为随机优化提供了几乎无需调参的算法，该算法在应用于二次问题时具有可证明的收敛性质，并在经典图像分类任务中展现出真正的问题自适应行为。我们的框架还可以包含预处理器，从而实现对随机二阶优化方法的自适应步长的实现。

    Nov, 2023

  • 保障自适应方法：巴基莱 - 波尔温法和其他步长选择的全局收敛

    通过对于凸最小化问题的自适应方法的最新进展的利用，本文提供了一种无需线搜索的近端梯度下降框架，用于全局化收敛于流行的步长选择，如 Barzilai-Borwein 和一维 Anderson 加速。该框架可以处理梯度可微函数只具有局部 Holder 连续性的问题。我们的分析不仅包含但也改进了现有结果，并以数值证据来证明快速步长选择和自适应方法之间的协同作用。

    Apr, 2024

  • 几乎无需调参的方差缩减

    本研究提出了一种使用 Barzilai-Borwein 步长、平均值和内循环长度来调整参数的近乎无需调参的 SVRG 和 SARAH 算法，通过 “估计序列” 方法重新审视了这些算法，并在内循环过程中进行了简单而有效的迭代次数调整，提高了方法的性能。

    Aug, 2019

  • 常步长随机梯度下降与马尔可夫链的桥梁

    本文应用马尔科夫链理论，通过随机梯度下降（SGD）算法来计算目标函数，并提供了一种新的 Richardson-Romberg 外推方法来优化 SGD 算法，通过渐进展开分析，总结出其与初始条件、噪声和步长的相关性。

    Jul, 2017

  • 大规模机器学习问题的随机比率跟踪算法

    本文提出了一种适应性步长选择的算法，基于传统的非线性优化技术，通过分析结果表明，该算法可生成与手动调节最佳步长相当的步长，并产生期望收敛于解的固定邻域的迭代。

    May, 2023

  • 自适应步长随机梯度下降算法的收敛性

    通过研究广义 AdaGrad 步长在凸和非凸设置中，本文证明了这些步长实现梯度渐近收敛于零的充分条件，从而填补了这些方法理论上的空白。此外，本文表明这些步长允许自动适应随机梯度噪声级别在凸和非凸情况下，实现 O（1/T）到 O（1 / 根号 T）的插值（带有对数项）。

    May, 2018

  • 实用 SVRG：停止浪费我的梯度

    本文介绍了多种提高随机方差减小梯度方法性能的策略，包括使用递减误差控制变量、使用递增批处理策略以及利用支撑向量减少计算。此外，本文还考虑了不同小批量选择策略和该方法的泛化误差问题。

    Nov, 2015