这项工作研究了随机梯度下降对于流式最小二乘回归问题的最终迭代行为并探讨使用 Step Decay 调度方案实现可接受的改进，同时发现 SGD 的最终迭代行为不如期望，并强调了随机梯度下降固定时间限制下确定最优学习率方案的复杂性。

Apr, 2019

研究算法归纳偏差对于防止过度拟合的重要性，探讨使用常数步长随机梯度下降算法在超参数化情况下进行线性回归的问题和解决方案，提供了数据协方差矩阵全部的特征值，阐述一个可以使得泛化成为可能的偏差 - 方差分解，实验结果表明理论结果的正确性。

Mar, 2021

本文旨在设计新的步长序列，以获得对最后一点的 SGD 和 GD 的理论最佳子优越性保证，并通过模拟验证了新的步长序列相对于标准步长序列的改进，主要涉及随机梯度下降、优化、步长序列、子优越性和收敛率。

Apr, 2019

我们研究了加速随机梯度下降（ASGD）在过参数化线性回归中的泛化情况，建立了数据协方差矩阵的每个特征子空间下的 ASGD 的过量风险界限，结果显示出 ASGD 在小特征值子空间中的偏差误差以指数衰减的速度优于 SGD，而在大特征值子空间中，偏差误差的衰减速度较慢，且 ASGD 的方差误差始终大于 SGD 的。我们的研究表明，当初始化向量与真实权重向量的差异主要集中在小特征值子空间时，ASGD 可以优于 SGD。此外，当我们将分析专门应用于强凸设置下的线性回归问题时，得到的偏差误差界限比已知结果更紧。

Nov, 2023

研究了神经网络在最小二乘设置中的应用，讨论了随机梯度下降与最终迭代的相关性，并在统计和优化双重视角下给出了多项式瞬时收敛率的解读，建立与再生核希尔伯特空间的联系。

Feb, 2021

该论文讨论在数据过度参数化时，第一阶段优化方案（如随机梯度下降）的性质。作者发现，当损失函数在初始点的最小邻域内具有某些属性时，迭代会以几何速率收敛于全局最优解，会以接近直接的路线从初始点到达全局最优解，其中，通过引入一个新的潜力函数来作为证明技术的一部分。对于随机梯度下降（SGD），作者开发了新的鞅技巧，以保证 SGD 绝不会离开初始化的小邻域。

Dec, 2018

研究了通过几何步长递减法 (schedule) 本文给出了新的理论保证，以适应近现代的复杂非凸统计学习问题，其中利用所得结论，分别在高斯噪声模型和重尾分布下，分析了相位恢复和盲去卷积两个统计学任务，并取得了最优保证。

Jul, 2019

该论文提出了一种新颖的方法，通过引入基于 1/√t 的修改衰减步长来提高随机梯度下降 (SGD) 算法的性能。所提出的步长整合了对数项，在最后的迭代中选择较小的值。通过分析，我们在非凸光滑函数无 Polyak-Lojasiewicz 条件的情况下，建立了收敛速度为 O (ln T/√T)。为了评估我们的方法的有效性，我们在 FashionMNIST 和 CIFAR10 数据集上进行了图像分类任务的数值实验，结果显示与传统的 1/√t 步长相比，准确率明显提高，分别观察到 0.5% 和 1.4% 的增益。源代码可以在 https://github.com/Shamaeem/LNSQRTStepSize 找到。

Sep, 2023

本文提出在插值范式内的正则条件，使得随机梯度方法与确定性梯度方法具有相同的最坏迭代复杂度，同时仅在每次迭代中使用单个采样梯度（或一个小批量）。最后，我们证明了我们的条件在训练具有线性输出层的足够宽的前馈神经网络时成立。

Jun, 2023

研究随机梯度下降法（SGD）在强凸目标函数上的收敛性，证明了 ICML 2018 和 2019 提出的降低步长的速率序列在每次迭代后的收敛速度与我们的下限相差不到 32 倍，为最优状态；该下限相较于现有工作大约高出了因子 775×d，其中 d 是维度。

Oct, 2018