本文研究了利用随机一阶预测器在凸集上最小化凸函数的问题，证明了函数在最小值点$x_{f, S}^*$附近增长的速率是最优学习率的决定因素，并得到了关于学习率和复杂度的结论结果。

Jul, 2012

本文旨在介绍凸优化及其相应算法, 包括黑盒优化，结构优化, 随机优化以及非欧几里德设置下的机器学习算法。

May, 2014

第一阶段方法在大规模机器学习中扮演了核心作用，在保持渐进进展和提供双重进展的基础上，我们观察到梯度和镜像下降的性能是互补的，因此可以通过将两者进行线性耦合来设计更快速的算法，我们展示了如何使用线性耦合重构Nesterov的加速梯度方法，并通过将其扩展到Nesterov方法无法适用的许多其他设置来讨论线性耦合的威力。

Jul, 2014

本论文提出了一种优化方法，该方法融合了加速梯度下降、随机方差减少梯度的优点，适用于非强凸和强凸问题，并在效率和收敛速率上都有优异表现。

Jun, 2015

通过使用分量函数的梯度和prox oracles提供了最小化m个凸函数平均值的复杂性的严格上下界；我们表明决定性和随机优化之间存在显着差距。对于光滑函数，我们表明在确定性和随机设置中，加速梯度下降(AGD)和SVRG的加速变体分别是最优的，并且梯度Orcale足以获得最佳速率。对于非光滑函数，通过接入prox oracles可降低复杂度，因此，我们提出基于平滑的最优方法，以改进仅使用梯度访问的方法。

May, 2016

研究了随机梯度下降（SGD）算法在最小化光滑、可能非凸函数梯度范数方面的迭代复杂度，结果表明，Ghadimi和Lan的上限不能得到改进，除非做出额外的假设，即使对于凸二次函数，也是如此；此外还表明，对于非凸函数，SGD最小化梯度的可行性需要根据所选择的最优性标准而定。

Oct, 2019

采用随机一阶方法找到梯度范数不超过ε的ε-稳定点的复杂度下界，使用具有有界方差的无偏随机梯度预言机访问光滑但可能非凸函数的一种模型，证明任何算法在最坏情况下需要至少ε^-4个查询才能找到ε-稳定点。对于噪声梯度估计满足均方光滑性质的更严格模型，我们证明了ε^ -3个查询的下界，建立了最近提出的方差缩减技术的最优性。

Dec, 2019

通过重新定义问题为最小化问题，应用特定变体的近端点算法和使用最佳算法计算不准确的近端算子，我们将最小极小化优化问题的梯度计算复杂度降至O(sqrt(kappax*kappay)*log(1/epsilon))

May, 2022

本文介绍了一种新的非均匀光滑条件下的优化方法，并开发出一种简单但有效的分析技术来限制沿轨迹的梯度，从而获得更强的凸优化和非凸优化问题的结果。我们通过这种新方法证明了（随机）梯度下降和Nesterov加速梯度法在这种一般的光滑条件下的收敛率，而不需要梯度剪裁，并允许在随机场景中的有界方差的重尾噪声。

Jun, 2023

设计和分析基于梯度的算法，适用于机器学习中的优化问题，包括线性回归等，并改进了现有的复杂度下界。

Dec, 2023