该论文讨论在数据过度参数化时，第一阶段优化方案（如随机梯度下降）的性质。作者发现，当损失函数在初始点的最小邻域内具有某些属性时，迭代会以几何速率收敛于全局最优解，会以接近直接的路线从初始点到达全局最优解，其中，通过引入一个新的潜力函数来作为证明技术的一部分。对于随机梯度下降（SGD），作者开发了新的鞅技巧，以保证 SGD 绝不会离开初始化的小邻域。

Dec, 2018

本研究证明了随机梯度下降法 (SGD)可训练深度神经网络，甚至可以收敛于全局最小值。这一结果得益于多个实验验证了SGD可以遵循恒星凸轨迹和训练损失近似于零值等性质，并以新方式揭示了SGD以确定性方式收敛于全局最小值。

Jan, 2019

通过研究深度神经网络的显式正则化对随机梯度下降的作用，证实显式正则化对于高参数化的神经网络成功的贡献远比随机梯度下降方法更为重要。

Jun, 2019

本文通过对训练损失函数的海森矩阵及其相关量的分析，探讨了随机梯度下降（SGD）的优化动态和泛化行为等三个问题，并在合成数据、MNIST 和 CIFAR-10 数据集上进行了大量实验支持其理论结果。

Jul, 2019

该研究旨在通过分析局部收敛行为来解释为什么类似ADAM的适应性梯度算法的泛化性能比SGD差，尤其是它们在梯度噪声方面存在重尾现象；研究结果表明，SGD相比于ADAM能更好地从局部最小值中逃脱，并且在平缓的最小值处表现更好。实验结果证实了我们的理论假设。

Oct, 2020

本文提出在插值范式内的正则条件，使得随机梯度方法与确定性梯度方法具有相同的最坏迭代复杂度，同时仅在每次迭代中使用单个采样梯度（或一个小批量）。最后，我们证明了我们的条件在训练具有线性输出层的足够宽的前馈神经网络时成立。

Jun, 2023

本研究论文探讨了随机梯度下降（SGD）方法及其变种在训练非光滑激活函数构建的神经网络中的收敛性质，提出了一种新的框架，分别为更新动量项和变量分配不同的时间尺度。在一些温和条件下，我们证明了我们提出的框架在单一时间尺度和双时间尺度情况下的全局收敛性。我们展示了我们提出的框架包含了许多著名的SGD类型方法，包括heavy-ball SGD、SignSGD、Lion、normalized SGD和clipped SGD。此外，当目标函数采用有限和形式时，我们证明了基于我们提出的框架的这些SGD类型方法的收敛性质。特别地，在温和的假设条件下，我们证明了这些SGD类型方法以随机选择的步长和初始点找到了目标函数的Clarke稳定点。初步的数值实验表明了我们分析的SGD类型方法的高效性。

Jul, 2023

利用随机梯度下降(Stochastic Gradient Descent, SGD)算法研究了在正交数据上训练具有线性或ReLU激活函数的单神经元自编码器的动力学。我们发现对于这个非凸问题，使用恒定步长的随机初始化SGD算法可以成功找到全局最小值，但具体找到的全局最小值取决于批量大小。在全批次设置中，我们发现解是稠密的（即非稀疏的），与初始化方向非常吻合，表明特征学习很少发生。另一方面，对于任何小于样本数的批量大小，SGD会找到一个稀疏且几乎正交于初始化的全局最小值，表明随机梯度的随机性在这种情况下引起了一种不同类型的“特征选择”。此外，如果通过Hessian矩阵的迹来衡量最小值的锐度，则使用全批次梯度下降找到的最小值比使用小批量大小找到的最小值更平坦，这与先前的研究相矛盾，先前的研究认为大批量会导致更锐利的最小值。为了证明SGD使用恒定步长的收敛性，我们引入了非齐次随机游走理论中的重要工具，该工具对于独立研究可能具有重要意义。

Aug, 2023

我们提出并研究了一种基于经验估计目标函数值的学习率自适应方法，用于随机梯度下降优化方法，并在多个神经网络学习问题中实施。我们证明了学习率自适应变体的SGD优化方法对于一类简单的二次最小化问题收敛于最小化器。

Jun, 2024

我们证明了自适应随机梯度下降方法（如Adam优化器）在学习率无限接近于零的情况下无法收敛到任何可能的随机极限点。

Jul, 2024