论文描述了一种框架，用于推导和分析在线优化算法，包括数据相关正则化，称为预调节。该框架捕获和统一了许多关于自适应在线方法的现有文献，包括 AdaGrad 和 Online Newton Step 算法及其对角线版本。我们得到了这些算法的新收敛证明，这些证明比以前的分析要简单得多。我们的框架还揭示了常见随机优化方法中不同预调节更新的基本原理。

Jun, 2017

本文分析并评估了一种采用逐坐标调整学习率的在线梯度下降算法，该算法可被视为带有对角先决条件的批量梯度下降的在线版本。实验结果表明，该算法在大规模机器学习问题中与最先进的算法相竞争，并带来更强的遗憾边界。

Feb, 2010

该论文提出了一种面向在线学习的反向优化算法框架，设计了一种隐式更新算法用于处理噪声数据，并证明其具有统计一致性。实验表明，该算法具有很高的精度和鲁棒性，并且在计算效率上比批量学习更具优势。

Oct, 2018

该论文介绍了一种新颖的在线推断框架，用于低秩张量学习，其中采用随机梯度下降，在不需要大量内存的情况下实现了高效的实时数据处理，大大降低了计算需求。该方法还提出了一种简单而强大的在线去偏置方法，用于顺序统计推断，从而消除了数据分割或存储历史数据的需求，使其适用于即时假设检验。

Dec, 2023

在线统计推断使得实时分析顺序采集的数据成为可能，本文引入了一种针对高维广义线性模型的在线推断新方法，通过在每次新增数据到达时更新回归系数估计和其标准误差，与现有方法相比，该方法以单次传递模式运行，大大降低了时间和空间复杂度。方法的核心创新在于针对动态目标函数设计的自适应随机梯度下降算法，结合了一种新型的在线去偏过程，能够在有效控制由动态变化的损失函数引入的优化误差的同时，保持低维度的摘要统计量。我们的方法，即近似去偏套索（ADL），不仅减轻了有界个别概率条件的需求，而且显著提高了数值性能。数值实验证明了所提出的 ADL 方法在各种协方差矩阵结构下一致表现出鲁棒性。

May, 2024

提出了一种名为近端在线梯度下降（OGD）算法，用于解决具有不同 iable loss 函数和不可区分正则化器的复合目标函数的非可区分动态优化问题，该算法适用于在线学习框架，并允许损失函数的梯度存在误差。

Jun, 2018

本文提出了一个无需离线训练的在线学习方法，通过递归最小二乘算法辅助进行 few-shot 在线自适应学习，实现在模型中构建记忆保留机制，同时防止过度拟合和遗忘，有效提升了现代深度跟踪器的表现效率。

Dec, 2021

研究在线情况下的不确定性量化问题，提出新的自适应后悔最小化算法用于在线共形预测，证明了该方法实现了近似最优的自适应后悔和适当的预测覆盖，同时在时间序列预测和图像分类等实际任务上对现有方法具有明显的优势。

Feb, 2023

本文提供了一种新的方法，将在线预测算法在线镜像下降推广到具有通用更新的时间变化正则化器，并演示了该方法的强大功能。

Apr, 2013

研究了随机截尾回归模型的渐近高效的在线学习问题，提出了一个两步在线算法，第一步实现算法收敛，第二步致力于提高估计性能，结果表明算法是强一致和渐近正常的，并且估计的协方差在渐近上可以达到 Cramer-Rao（C-R）界限，这表明所提出的算法的性能是可以期望的最优的。

Sep, 2023