本文分析并评估了一种采用逐坐标调整学习率的在线梯度下降算法，该算法可被视为带有对角先决条件的批量梯度下降的在线版本。实验结果表明，该算法在大规模机器学习问题中与最先进的算法相竞争，并带来更强的遗憾边界。

Feb, 2010

本文提出了一种基于离线方法的凸优化方法，通过查询梯度谐和和的方法实现自适应保证，在平滑和非平滑条件下都能实现快速收敛，同时还可以推广到随机梯度下降算法中，提供了一种根据梯度幅值自适应选择 minibatch 大小的方法。

May, 2017

本文针对凸无约束优化问题提出了一种新方法，通过一种自适应学习率规则和线性耦合两个序列的方式，利用重要权重和自适应在线学习算法的思想实现了对光滑目标、非光滑一般情况和随机优化的加速收敛。实证分析表明了本方法在上述场景中的适用性并证实了我们的理论发现。

Sep, 2018

该研究提出了一种新颖的自适应步长方法来解决随机梯度下降（SGD）中的问题，通过利用我们识别出的可追踪的量（梯度的 Lipschitz 常数和搜索方向的局部方差的概念），我们的发现为随机优化提供了几乎无需调参的算法，该算法在应用于二次问题时具有可证明的收敛性质，并在经典图像分类任务中展现出真正的问题自适应行为。我们的框架还可以包含预处理器，从而实现对随机二阶优化方法的自适应步长的实现。

Nov, 2023

基于 SGD，本文提出了一种统一框架来解决随机优化中非凸条件下的收敛分析问题，并发现了两种插入加速方法：拒绝加速和随机向量加速，理论上证明这两种方法可以直接提高收敛速度。

Feb, 2024

该论文提出一种在线凸优化算法，它具有介于使用最优预处理矩阵的算法和使用对角预处理矩阵的算法之间的遗憾，并且其遗憾界不会比对角预处理更差，在特定情况下甚至超过了具有全矩阵预处理的算法的遗憾界。该算法具有与在线梯度下降相同的时间和空间复杂度，并在论文中进行了合成数据和深度学习任务的基准测试。

May, 2019

本文介绍一种在线学习算法，该算法是收敛于再生核希尔伯特空间（RKHS）中的回归函数的正则化路径的顺序随机逼近。通过小心选择增益或步长序列，我们展示了可以生产出批量学习的最佳已知强收敛速率，并给出了弱收敛速率，其在文献中达到了最小化和个人较低速率的最优水平，并利用 Hilbert 空间中鞍点型不等式为鞍点型型不等式的马尔可夫过程推导出几乎肯定的收敛。通过类似于批量学习设置的偏差 - 方差分解，我们证明偏差包括沿正则化路径的逼近误差和漂移误差，这些误差显现了相同的收敛速率，而方差则来自样本误差，分析为反向鞍点型差分序列，上述速率通过偏差和方差之间的最佳折衷得到。

Mar, 2011

我们提出了一个基于分离随机逼近框架的在线学习算法，其中对于某些具有线性特性的模型参数，我们采用递归最小二乘（RLS）算法进行更新，然后根据更新后的线性参数，采用随机梯度法（SGD）更新非线性参数，该算法可以理解为一种随机逼近版块坐标梯度下降方法，已经在非凸情况下获得全局收敛性，数值实验表明，该方法提高了收敛速度并在与其他流行学习算法比较时产生更稳健的训练和测试性能，此外，我们的算法对学习速率不太敏感并且优于最近提出的 slimTrain 算法。

May, 2023

我们提出了一种新颖的基于梯度的在线优化框架，用于解决在网络物理和机器人系统中经常出现的随机规划问题。我们的问题形式化考虑了模拟网络物理系统的约束条件，该系统通常具有连续的状态和动作空间，是非线性的，并且状态只被部分观测到。我们还在学习过程中将动力学的近似模型作为先验知识纳入其中，并表明即使是动力学的粗略估计也能显着改善算法的收敛性。我们的在线优化框架包括梯度下降和拟牛顿方法，并在非凸环境中对我们的算法进行了统一的收敛性分析。我们还研究了系统动力学建模误差对算法收敛速度的影响。最后，我们在柔性梁、四足行走机器人的仿真和乒乓球机器人的实际实验中评估了我们的算法。

Apr, 2024

本文提出一种对于任意强凸和光滑的优化问题，通过随机梯度下降的迭代进行均值处理可以获得与正则化参数可调的正则化方案，该方案同样适用于加速和预调节优化方法，并在神经网络等更广泛的优化目标上得到实证验证。

Aug, 2020