本文提出了一种基于 Haar 小波基的在线预测算法，实现了记录总变化量有界序列的最优 O (n^(1/3)) 速率，适应未知平滑参数，并证明了在线梯度下降算法是这种情况下的子优解。

Jun, 2019

使用先进的证明技术和 Zinkevich-style 动态遗憾最小化框架，本研究提出了一个强适应的在线学习算法，其总变化控制下的动态遗憾为 O (n^(1/3)*C_n^(2/3))，并且可以扩展到局部自适应非参数回归问题中。

Apr, 2021

通过将 trend filtering 估计与局部自适应回归样条进行比较，发现 trend filtering 估计可以更好地适应平滑度的局部水平，与局部自适应回归样条非常相似，而且在 k 阶可变差分函数的情况下，trend filtering 估计收敛于类较小化速率，从而提供了理论支持。

Apr, 2013

本文研究动态环境下的在线凸优化问题，通过提出一种自适应学习的方法 Ader，利用专家跟踪算法结合一组专家来最小化动态遗憾，并扩展到可用于表征比较器的动态模型序列的情形。

Oct, 2018

我们研究具有 Lipschitz 损失的无约束在线线性优化问题，提出一种新的连续时间启发式算法，通过连续时间模型和离散时间对偶的方式实现渐进的梯度自适应和比较器范数自适应，克服了传统方法中梯度方差的缺陷并消除了未知 Lipschitz 常数的问题。

Sep, 2023

在本文中，我们通过在线优化的视角，考虑了一个遵循随时间变化的分布的随机优化问题序列。假设损失函数满足 Polyak-Lojasiewicz 条件，我们应用在线随机梯度下降并建立了其动态遗憾界，其中包含由随机性引起的累积分布漂移和累积梯度偏差。我们采用的分布测度是 Wasserstein 距离，它在没有绝对连续性假设或具有时变支持集时具有良好定义。我们还建立了在线随机近端梯度下降的遗憾界，当目标函数被正则化时。此外，我们展示了上述框架如何应用于条件风险价值（CVaR）学习问题。特别地，我们改进了对 CVaR 问题 PL 条件发现的现有证明，从而得到了在线随机梯度下降的遗憾界。

Sep, 2023

优化非稳态动态损失和自适应损失的有效方法涉及非稳态在线学习的减少投影和梯度查询次数，在参数自由在线学习的基础上进行了非平凡的改进。

Sep, 2023

本文提出了一种完全自适应的方法，适用于在线学习中的动态比较基准，并且应用到了零和博弈中。

Jan, 2015

我们开发了一种用于在线线性回归的算法，即使在完全没有先验知识的情况下，也能实现最佳的静态和动态遗憾保证。

May, 2024

研究了在无界设置下的在线凸优化，提出了无需参数和无需缩放的算法，并将其用于线性模型的在线预测。

Feb, 2020