Apr, 2019

阶梯衰减策略：一种近似最优、几何下降的最小二乘学习速率过程

PDF
TL;DR这项工作研究了随机梯度下降对于流式最小二乘回归问题的最终迭代行为并探讨使用 Step Decay 调度方案实现可接受的改进，同时发现 SGD 的最终迭代行为不如期望，并强调了随机梯度下降固定时间限制下确定最优学习率方案的复杂性。
stochastic convex optimizationstochastic gradient descentleast squares regressionlearning rateminimax rate
发现论文，激发创造
  • 带有递减步长的 SGD 最后迭代的过参数化线性回归风险界

    本文针对几何递减步长的随机梯度下降算法在过参数化线性回归问题中的应用，对其迭代步数的风险进行了理论分析，并探讨了不同递减方法对算法优化效果的影响。

    Oct, 2021

  • 使用几何步长衰减的随机算法对锐函数具有线性收敛性

    研究了通过几何步长递减法 (schedule) 本文给出了新的理论保证，以适应近现代的复杂非凸统计学习问题，其中利用所得结论，分别在高斯噪声模型和重尾分布下，分析了相位恢复和盲去卷积两个统计学任务，并取得了最优保证。

    Jul, 2019

  • 何时、为何以及何倍？通过优化改进的自适应学习率调度

    学习率调度与优化算法的收敛性分析、学习率预热和调度优化方法的研究。

    Oct, 2023

  • 动态步长调度的局部最优下降

    我们介绍了一种新颖的动态学习率调度方案，旨在简化实践中手动而耗时的调度。我们的方法基于估计局部最优步长，确保在当前步骤的随机梯度方向上实现最大下降。我们首先在平滑的非凸随机优化环境中建立了我们方法的理论收敛边界，与最新的边界相匹配，仅假设对平滑参数具有知识。然后，我们提出了我们算法的实际实现，并在不同数据集和优化算法上进行系统实验，将我们的方案与现有的最新学习率调度器进行比较。我们的发现表明，与现有方法相比，我们的方法需要最少的调整，消除了辅助手动调度和预热阶段的需要，并实现了具有大大减少参数调整的可比性能。

    Nov, 2023

  • 增强型随机梯度下降算法的改进步长：收敛性和实验

    该论文提出了一种新颖的方法，通过引入基于 1/√t 的修改衰减步长来提高随机梯度下降 (SGD) 算法的性能。所提出的步长整合了对数项，在最后的迭代中选择较小的值。通过分析，我们在非凸光滑函数无 Polyak-Lojasiewicz 条件的情况下，建立了收敛速度为 O (ln T/√T)。为了评估我们的方法的有效性，我们在 FashionMNIST 和 CIFAR10 数据集上进行了图像分类任务的数值实验，结果显示与传统的 1/√t 步长相比，准确率明显提高，分别观察到 0.5% 和 1.4% 的增益。源代码可以在 https://github.com/Shamaeem/LNSQRTStepSize 找到。

    Sep, 2023

  • 使 SGD 的最后迭代在信息理论上达到最优

    本文旨在设计新的步长序列，以获得对最后一点的 SGD 和 GD 的理论最佳子优越性保证，并通过模拟验证了新的步长序列相对于标准步长序列的改进，主要涉及随机梯度下降、优化、步长序列、子优越性和收敛率。

    Apr, 2019

  • 面向噪声自适应、问题自适应（加速）随机梯度下降

    通过利用指数步长和随机线性搜索等技术，使得随机梯度下降算法适应不同噪声水平和问题相关的常数，可以在强凸函数的条件下，取得与理论最优相近的收敛速度，同时能够有效地处理噪声和数据不凸的情况。

    Oct, 2021

  • 随机梯度下降法在递减步长下期望收敛速率的紧凑维度无关下限

    研究随机梯度下降法（SGD）在强凸目标函数上的收敛性，证明了 ICML 2018 和 2019 提出的降低步长的速率序列在每次迭代后的收敛速度与我们的下限相差不到 32 倍，为最优状态；该下限相较于现有工作大约高出了因子 775×d，其中 d 是维度。

    Oct, 2018

  • Polyak 学习率的随机梯度下降

    本文提出将 Subgradient 方法中的 Polyak 步长推广到随机梯度下降中，并证明了该算法可以在非渐进情况下以更好的速率收敛于优化解，该算法在训练深度神经网络等问题上表现良好。

    Mar, 2019

  • 使用常数和衰减的学习率的随机梯度下降的迭代和随机一阶预言机复杂度

    使用常数或递减的学习率的随机梯度下降法（SGD）与关键的批次大小能够最小化深度学习中的非凸优化的随机一阶复杂性，并且与现有的一阶优化器相比较具有实用性。

    Feb, 2024