本文研究深度学习中随机梯度下降算法中的梯度噪声，认为它通常不服从高斯分布，而是服从重尾的 α 稳定分布。作者建议使用 Lévy motion 来描述梯度噪声驱动的随机微分方程，并验证了此假设在不同深度学习架构和数据集中的正确性。此研究为深度学习的最优化提供了新的视角和更多见解。

Jan, 2019

通过对连续扩散逼近的随机梯度下降进行分析，我们发现它在渐近意义下表现出重尾分布，并给出了尾指数的上下界。我们通过数值实验验证了这些界限，并显示它们通常是 SGD 迭代的经验尾指数的近似。此外，这些界限的显式形式使我们能够量化优化参数与尾指数之间的相互作用，这对于研究神经网络的广义性能和 SGD 避免次优局部极小值的能力的关联问题具有重要意义。

Feb, 2024

本文阐述了随机梯度下降（SGD）在深度学习中的泛化性能与最小值的浅奥关系，并通过线性回归等简单问题分析证明了参数选择会对算法的收敛率及概率分布产生影响。

Jun, 2020

在超参数化的情况下研究了一类噪声梯度下降系统的极限动力学。研究发现，噪声的结构不仅影响极限过程的形式，还影响演化的时间尺度。应用该理论比较了 Dropout、标签噪声和经典 SGD（小批量）噪声的演化过程，发现它们在不同的两个时间尺度上演化。这些研究结果受到神经网络训练的启发，但定理适用于任何具有非平凡零损失集的噪声梯度下降。

Apr, 2024

本文探究了随机梯度下降（SGD）及其变种在非消失学习率模式下的基本性质，特别是推导了离散时间 SGD 在二次损失函数中的稳态分布，讨论了其影响，并考虑了 SGD 变体的逼近误差、小批量噪音效应、最优贝叶斯推断、从尖锐最小值的逃逸率和几种包括阻尼牛顿法、自然梯度下降和 Adam 的二阶方法的稳态协方差等应用。

Dec, 2020

随机梯度下降（SGD）算法是用于训练神经网络的算法。在这项工作中，我们证明了 SGD 的小批量噪声在有缩放对称性的损失函数中使解决方案朝着均衡解决方案正则化。我们应用这一结果来推导具有任意深度和宽度的对角线线性网络的随机梯度流的稳态分布，该稳态分布展示了相变、破坏性遍历和涨落反转等复杂的非线性现象，这些现象只存在于深度网络中，暗示着深度模型与浅模型之间的根本差异。

Aug, 2023

我们研究了最小二乘问题的连续时间随机梯度下降（SGD）模型的动力学。我们通过分析随机微分方程 (SDE)，在训练损失（有限样本）或总体损失（在线设置）的情况下建模 SGD 来追求 Li 等人 (2019) 的研究成果。该动力学的一个关键特征是无论样本大小如何，都存在与数据完美插值器。在这两种情况下，我们提供了收敛到（可能退化的）稳态分布的精确非渐近速率。此外，我们描述了渐近分布，给出了其均值、与之偏差的估计，并证明了与步长大小有关的重尾现象的出现。我们还呈现了支持我们发现的数值模拟结果。

Jul, 2024

本文介绍了使用离散随机递归关系模拟随机优化算法，说明由于局部收敛速度方差的增加，会导致多项式噪声，从而得到具有重尾结构的参数固定点，其优化具有更高的容量，以更好地探索非凸损失面。

Jun, 2020

通过随机梯度下降和先进的基于随机梯度下降的算法找到人工神经网络的适当参数，优化算法在目标函数的某种噪声区域内倾向于选择 “平坦” 最小值，这一趋势与连续时间 SGD 与均匀噪声的选择是不同的。

Jun, 2021

本研究探讨随机优化中梯度下降算法（尤其是加速梯度下降和随机梯度下降）的渐近行为，并建立了渐近分析的计算和统计统一框架。基于时间依赖奥恩斯坦 - 乌伦贝克过程等建立梯度流中心极限定理，最终识别学习率、批处理大小、梯度协方差和黑塞矩阵等四个因素，以解决非凸优化问题。

Nov, 2017