- 随机梯度方法在梯度主导条件下的几乎必然收敛速率
基于全局和局部梯度支配的随机梯度下降法收敛速度证明及其在监督学习和强化学习中的应用。
- AAAI在几何衰减动态环境中的决策依赖风险最小化
研究了基于体积衰减过程动态演变的决策者行动依赖数据分布下的最小化预期损失问题，提出了针对信息设置和损失函数的两种全新算法，经过实验验证可显著提高机构目标（目标占用）并降低停车费率。
- ICML随机梯度下降法在极小极大问题中的稳定性和泛化性
通过算法稳定性的视角，对凸凹和非凸非凹情形下的随机梯度方法在极小极大问题中的泛化能力进行了全面的分析，建立了稳定性与泛化能力之间的定量联系。在凸凹情形下，稳定性分析表明了随机梯度下降算法对于平滑和非平滑的极小极大问题皆可达到最优的泛化界。我 - 自适应原始对偶随机梯度方法用于期望约束凸随机规划
本文提出了一种基于拉格朗日函数的新的自适应贪婪分布算法去解决期望约束凸随机优化问题，收敛速度快于现有的非自适应算法和基于原始变量的 SGM，并且扩展到解决凸凹随机极小极大问题。
- ICML随机梯度下降法与有偏梯度的收敛性
分析了带偏差随机梯度方法的复杂性，特别是在非凸函数上的收敛性及更好的速率，探究了偏差大小对达到的准确性和收敛速率的影响，阐述了偏差梯度在分布式学习和无导数优化中的应用广泛性。
- 统计自适应随机梯度方法
提出一种名为 SALSA 的统计自适应程序，用于自动调整随机梯度方法中的学习率（步长），该方法使用平滑的随机线性搜索程序逐渐增加学习率，然后自动转换为一个新的统计方法来降低学习率，它在广泛的随机梯度算法中使用了一个新的统计测试来检测状态，能 - ICML带动量的随机梯度方法收敛于非光滑非凸优化问题
本文介绍了一种随机子梯度方法，该方法结合了动量项，能够在一类广泛意义下的非光滑、非凸和受约束的优化问题中建立一个特殊的李亚普诺夫函数，实现快速收敛。
- 随机梯度方法中动量的作用理解
该论文通过使用 QHM 的一般公式来对几种流行的算法进行统一分析，涵盖了它们的渐近收敛条件，稳定区域和其稳态分布的性质，通过结合收敛速度和稳态分布结果，得出了设置学习速率和动量参数的实用指南。
- 保守集值场、自动微分、随机梯度法和深度学习
介绍了广义导数（称为保守场）来处理在 AI 或数值分析中的非光滑问题，并提供了变分公式，以及将模型应用于确定在实践中实现的非光滑随机梯度方法的值的收敛。
- 非光滑非凸正则化优化的简单随机梯度方法
本研究旨在探讨优化非光滑非凸正则化器下的平滑非凸损失函数的随机梯度方法。我们提出了两种简单的随机梯度算法，对于有限总和和一般随机优化问题，相较于现有技术水平，其具有更优的收敛复杂度。同时，我们在经验风险最小化中比较了两种算法的实际表现。
- 马尔可夫链梯度下降
本文研究随机梯度下降的变体 —— 马尔科夫链梯度下降算法，并针对非凸问题和不可逆有限状态马尔科夫链等情形，提出可行的非等时收敛证明，并通过实验验证其有效性。
- SGD 和随机特征的学习
本文研究了基于随机梯度下降与小批量和随机特征的非参数统计学习估计器，利用其定义了一种近似的核方法，并通过得出最优有限样本限制来探究其学习性质。
- 通过强制利普希茨连续性来正则化神经网络
研究神经网络与输入的 Lipschitz 连续性约束，提供一种计算前馈神经网络 Lipschitz 常数上界的简单技术，进而以受限优化问题的形式训练神经网络并使用投影随机梯度方法求解，实验证明该方法优于其他常用规则化器，特别是在仅有少量训练 - ICLR关于现有动量方案在随机优化中的不足
本论文通过证明存在简单的问题实例以及提出一种新的基于 Nesterov 的算法，来对现有的快速梯度方法在随机情况下的局限性以及不足进行研究。实验证明，该新算法比常见的方法更具优势。
- 迭代平均作为随机梯度下降的正则化
该论文提出了一种变种的 Polyak-Ruppert 平均方案，通过几何衰减的加权平均来在随机梯度方法中起到正则化的作用，其在线性最小二乘回归中具有岭回归的等价性，并提出与常规随机梯度方法相匹配的有限样本界。
- 基于随机切比雪夫梯度下降的谱优化方法
本文提出了对一类重要的谱函数（即谱和）实现无偏随机梯度的方法，基于结合随机化的迹估计和 Chebyshev 展开的随机截断。同时，我们将使用这个方法以及我们提出的谱和的随机梯度去设计数值试验和分析收敛速度。
- 随机梯度方法的测试误差的指数收敛
本研究研究了具有正定核和平方误差的二元分类问题，并研究了随机梯度方法的收敛速度。结果表明，当假设低噪声条件时，测试误差（分类误差）以指数速度收敛，而过量测试损失（平方损失）随着观测值的数量而慢慢收敛到零。
- AdaBatch：基于有效渐进聚合规则的序列和并行随机梯度方法
本文研究一种用于 mini-batch 的梯度聚合算子，名为 AdaBatch。该算子可用于随机梯度方法，并在稀疏优化问题中大大加速训练过程，同时在保持样本效率的前提下增加批处理大小。实验显示，在光滑凸优化中，该方法甚至可以在固定样本数量的 - 次模最大化的梯度方法
本文研究了许多学习应用中天然存在的连续子模函数的最大化问题，证明了随机投影梯度方法在凸约束下可以提供强的逼近保证，然后将其应用于随机子模函数的最大化问题，最后通过实验证明了该方法的有效性和实用性。
- ICLR使用预测方法稳定对抗网络
本文提出了一种改进的随机梯度下降方法来稳定对抗性神经网络，并在理论和实践中展示了该方法能够稳定地收敛到鞍点，相较于非预测方法能够使用更广泛的训练参数范围，从而使对抗性网络不太可能 “坍塌”，并可以使用更大的学习率加快训练。