本文提供了一种算法 —— 随机梯度下降的稳定性和泛化性的细致分析，通过消除梯度有界性、减轻光滑性和凸性函数的限制，提出了新的稳定性度量，并开发了受 SGD 迭代的风险控制的新型约束，给出了受最佳模型行为影响的泛化范围，从而在低噪声环境下使用稳定性方法得到了第一个快速上界。
Jun, 2020
我们为随机梯度下降（SGD）建立了数据相关的算法稳定性概念，并利用它来开发新的泛化界限；我们的结果表明，在凸和非凸问题中，预筛选初始化是稳定 SGD 的一种简单数据驱动策略，并允许我们展示出乐观的泛化界限。
Mar, 2017
本文探讨了深度学习模型的一种优化方法 —— 随机梯度下降在泛化能力上的稳定性，提出了一种基于梯度方差的稳定性指标，并在此基础上分别分析了常规非凸损失函数、梯度主导性损失函数和带强凸规则化器的问题，得到了一系列改进的泛化误差界。
Feb, 2018
本研究为首次探讨随机梯度下降算法（SGD）在非光滑凸损失函数上的一致稳定性，得出了相关上下限并基于此获得了多项新且有用的泛化误差界限和差分隐私非光滑随机凸优化算法，且显著优于同类算法。
本文证明使用随机梯度方法训练的参数模型少迭代次数即可实现消失的泛化误差，提供了新的对于随机梯度方法多周期泛化性能好的解释，对于神经网络的训练也有新的稳定性解释。
Sep, 2015
我们深入探讨了随机梯度下降（SGD）的线性稳定性与锐利度之间的关系，并介绍了一种损失海森矩阵的一致性度量，用于判断 SGD 在最优点处的线性不稳定性。
Jan, 2024
通过加入数据分布信息，我们提供了基于随机梯度下降的对抗训练的泛化界限，分析了数据分布的变化和对抗攻击的影响。
通过将学习理论与应用概率联系起来，引入了一种新的方法来证明随机优化算法的 Wasserstein 稳定性边界，并在强凸损失和带有附加噪声的非凸损失的情况下获得了时间均匀稳定性边界，其不随迭代次数增加而增加，并且证明了 Lyapunov 函数的重要性。
May, 2023
本研究研究了随机梯度下降（SGD）这种普遍使用的随机优化方法的泛化特性，提供了依赖于在 SGD 计算的迭代路径上评估的随机梯度的本地统计信息的泛化误差的理论上限，其关键因素是梯度的方差及目标函数沿 SGD 路径的局部光滑性以及损失函数对最终输出的扰动敏感度和信息理论泛化界限等。
Feb, 2021
本文针对非凸非光滑问题提出新的算法稳定性度量方法，同时建立它们与梯度之间的量化关系，并使用采样确定算法导出了随机梯度下降算法和其自适应变种的误差界。
Jun, 2022