本文研究了利用随机一阶预测器在凸集上最小化凸函数的问题，证明了函数在最小值点$x_{f, S}^*$附近增长的速率是最优学习率的决定因素，并得到了关于学习率和复杂度的结论结果。

Jul, 2012

本文旨在介绍凸优化及其相应算法, 包括黑盒优化，结构优化, 随机优化以及非欧几里德设置下的机器学习算法。

May, 2014

我们开发了一个新的框架来研究光滑和强凸优化算法，特别是针对二次函数，我们能够将优化算法作为线性运算的递归应用程序来检查，这揭示了一种强大的联系，即一类优化算法与多项式的分析理论之间的联系，从而导出了新的下界和上界，同时我们还以多项式相关的最优解的形式表达它，从而对Nesterov著名的加速梯度下降方法进行了新的系统推导。

Mar, 2015

提出了一种利用小批量方案改进半随机梯度下降（S2GD）方法的 mS2GD，该方法主要用于最小化一个由很多光滑凸函数的平均值和一个简单的非光滑凸正则化器组成的强凸函数，分析表明，该方法在具有小批量效应和简单并行实现方案的情况下，可以加速算法的收敛过程。

Apr, 2015

通过使用分量函数的梯度和prox oracles提供了最小化m个凸函数平均值的复杂性的严格上下界；我们表明决定性和随机优化之间存在显着差距。对于光滑函数，我们表明在确定性和随机设置中，加速梯度下降(AGD)和SVRG的加速变体分别是最优的，并且梯度Orcale足以获得最佳速率。对于非光滑函数，通过接入prox oracles可降低复杂度，因此，我们提出基于平滑的最优方法，以改进仅使用梯度访问的方法。

May, 2016

本文通过引入新的后悔分解和Bregman散度的泛化来对在线学习的两个算法进行分析，得出了较为简洁的结论，提出了对于复合目标的算法，并提供了一种细化的算法族。

Sep, 2017

本文阐述了机器学习中的非凸优化问题和直接方法在此领域的成功应用，旨在介绍这一领域的文献和分析非凸问题的简单程序工具。

Dec, 2017

研究了凸优化问题，提出了基于无遗憾游戏动力学的算法框架，并讨论了多种无遗憾学习算法的选择策略及其拥有的收敛性质，证明了很多经典的凸一阶方法都可以被理解为该框架的特殊情况，并且提出了一些之前未被发现的用于特殊凸优化问题的一阶方法。

Nov, 2021

设计和分析基于梯度的算法，适用于机器学习中的优化问题，包括线性回归等，并改进了现有的复杂度下界。

Dec, 2023

本研究解决了深度学习中的优化问题，提出了一种改进的随机梯度下降（SGD）优化器，借鉴了数值优化方法，以提升模型的可解释性和准确性。实验结果表明，该算法在多种深度学习任务中表现优异，显示了优化理论在复杂问题解决中的重要性和影响力。

Sep, 2024