本篇论文研究了关于随机逼近问题的现有算法，提出了两种新型随机梯度算法，并在回归和逻辑分类两种经典的监督学习问题上进行了测试，得到了较好的优化效果。

Jun, 2013

提出一种基于平均加速正则梯度下降的算法，通过细化初值和 Hessian 矩阵的假设，最优地优化回归问题，并证明其在偏差与方差之间具有最优性、大数据时初始化影响可达到 O（1/n2）以及对于维度 d 的依赖程度为 O（d/n）。

Feb, 2016

探讨使用随机梯度下降的加权迭代平均算法，对确定的不可知参数进行最小二乘回归，分析了其收敛速度和误差，并提出了一种新的算法，取得了更好的性能表现。

Jun, 2016

本文针对随机凸优化问题，提出了局部复杂度度量，并给出了与优化固有几何概念相对应的统计难度的收敛结果。基于 Nesterov 的对偶平均方法和 Riemannian 方法，开发出完全在线的适应性最优收敛算法，实现了函数特定的下界和收敛结果，并对约束鉴别和线性约束与非线性约束等方面做了探讨。

Dec, 2016

我们提出了一种随机梯度框架，用于解决具有（可能）无限数量的线性包含约束条件的随机复合凸优化问题，而这些约束条件需要几乎确定。我们使用平滑和同伦技术处理约束条件，无需矩阵投影，并且通过数值实验表明，我们的算法实现了最先进的实用性能。

Jan, 2019

本文提出一族算法通过简单的随机模型样本和优化方法，成功的减少了目标函数。我们展示出，合理的近似质量和模型的正则性下，此类算法将自然的稳定度衡量推向 0，该衰减速度为 O (k^(-1/4))，基于此原理，我们为随机的近端子梯度法，近端次梯度法以及规则化的高斯牛顿法等提供了第一个复杂性保证。

Mar, 2018

本文研究了基于随机子梯度优化的非光滑函数的优化问题，提出一种具有 O（1/T）收敛率的算法，并且证明在去除局部 polyhedral 假设时具有一般的收敛性，最后，在确定性问题的特殊情况下，在局部 polyhedral 假设上的收敛性得到了改善。

Jul, 2016

在这篇研究中，我们考虑了一个具有最优解 θ* 和 Hessian 矩阵 H 的在线最小二乘回归问题，并研究了 θ* 的时间平均随机梯度下降估计器。我们提供了 θ* 的无偏估计器，它是时间平均估计器的修改版本，在 k 阶数量级的时间步骤内运行，具有 O (1/k) 的预期超出风险。O 记号后的常数依赖于回归的参数，是 H 的最小特征值的多对数函数。我们提供了时间平均估计器和其无偏对应物的预期超出风险的有偏和无偏估计器，而不需要对 H 或 θ* 有任何了解。我们描述了我们的估计器的 “平均起始” 版本，具有类似的性质。我们的方法基于随机多级蒙特卡罗。我们的数值实验证实了我们的理论发现。

Jun, 2024

本文基于凸优化中函数是光滑和非光滑组合的形式，证明了一种适用于大类凸优化问题的随机近端梯度算法收敛性质，其避免了平均化和理论研究中常见但实际中不一定满足的有界性假设，证明了一系列强、弱收敛性结果，并得到了期望意义下的 $O (1/n)$ 的有界性结果。

Mar, 2014

该论文研究了带平均的随机梯度方法在监督学习问题中的应用，证明了该方法具有自适应性和较高的收敛率。

Mar, 2013