我们设计了一种在线线性优化算法，其具有最佳的遗憾度，并且不需要知道损失向量范数的上界或下界。通过尺度不变性，我们实现了对损失向量范数的适应性，即使损失向量序列乘以任意正常数，我们的算法仍会做出完全相同的决策。我们的算法适用于任何有界或无界决策集。对于无界决策集，这是第一个真正自适应的在线线性优化算法。
Feb, 2015
本研究解决在线学习中的参数调整问题，提出用于线性模型的算法，使其预测结果不受特征缩放的影响，并且在保持运行时性能的同时达到与使用最优学习率的 OGD 算法相同的遗憾界限。
Feb, 2019
本文设计并分析了一种不需要任何上限或下限的在线线性优化算法，实现了适应损失向量范数的缩放不变性，并且通过 FTRL 和 MD 元算法实现了最优遗憾，并为无界决策集开发了一种非真空遗憾绑定的自适应算法，并对基于 MD 的无标度算法在无界域上的下限进行了研究。
Jan, 2016
研究了在无界设置下的在线凸优化，提出了无需参数和无需缩放的算法，并将其用于线性模型的在线预测。
Feb, 2020
本文分析并评估了一种采用逐坐标调整学习率的在线梯度下降算法，该算法可被视为带有对角先决条件的批量梯度下降的在线版本。实验结果表明，该算法在大规模机器学习问题中与最先进的算法相竞争，并带来更强的遗憾边界。
Feb, 2010
本论文提出采用 Frank-Wolfe 技术的高效在线学习算法，避免了投影步骤，同时在在线凸优化方面获得了一系列遗憾界，特别是在随机在线平滑凸优化方面。此外，我们的算法具有参数自由性和产生稀疏决策的优点，并将算法应用到协作过滤的计算密集型应用中，并在标准数据集上显示出理论上的改进。
Jun, 2012
本文提出了一种简单的方法，可以将两个具有不同遗憾保证的无参数在线学习算法结合起来得到一个新的算法，其遗憾值是两个算法中的最小值。此外，作者还提出了一种基于该方法的黑盒子算法，可以生成乐观的在线学习算法，并提供无拘束设定下的第一个乐观遗憾保证。
研究一种基于连续时间的在线优化策略族，证明其能够达到无遗憾学习。从传统的离散时间角度来看，这种方法可导出大量离散时间算法（包括一些经典遗憾分析算法）的无遗憾性质，并统一了许多经典的遗憾上界，得到了一个无需借助于倍增技巧即可保证 $O (n^{-1/2})$ 遗憾上界的学习策略类。
Jan, 2014
在线分类研究中，研究者利用对未来示例的预测来改进在线学习算法，以减小期望遗憾并提高分类准确性。该研究还证明了当未来示例可准确预测时，在线学习可以与转导式在线学习相媲美，从而对近期基于预测和分布假设的在线算法的研究提供了补充。
May, 2024
本文讨论了基于梯度的在线学习算法来预测非凸模型序列的结果，提出了一种比标准 regret 更可解释的新定义来评估预测问题的性能并给出了该定义的边界分析。
Nov, 2018