优化非稳态动态损失和自适应损失的有效方法涉及非稳态在线学习的减少投影和梯度查询次数，在参数自由在线学习的基础上进行了非平凡的改进。

Sep, 2023

在一定约束条件下通过最小二乘估计器来估算位于特定凸多面锥体内的未知 θ ，得到了该估计器的风险边界，特别地，研究了保序回归中的风险边界及其本地最小值下边界。

Nov, 2013

使用先进的证明技术和 Zinkevich-style 动态遗憾最小化框架，本研究提出了一个强适应的在线学习算法，其总变化控制下的动态遗憾为 O (n^(1/3)*C_n^(2/3))，并且可以扩展到局部自适应非参数回归问题中。

Apr, 2021

基于顺序熵，确立了在线回归的最佳速率，发现最佳速率具有类似于独立同分布 / 统计学习情况的相变。此外，展示了一种享有建立的最佳速率的通用预测器和一种设计在线回归算法且计算高效的方法。

Feb, 2014

研究了使用一种新的预测算法在无需假设标签与对象的生成方式的条件下，对已知标签对象的实时预测问题，通过比较此算法与一定范围内的预测规则，证明了此算法的误差率在极限范围下可达到最佳状态，可用于无参统计学的普适预测。

Nov, 2005

我们提供了一种在线学习算法，可以在不知道 G 或∥w∗∥的情况下，获得在 G-Lipschitz 凸损失函数上的遗憾 G∥w∗∥√(Tlog (∥w∗∥G√T)+∥w∗∥^2+G^2)，这与具有此类知识的最佳界限 G∥w∗∥√T 匹配（除了对数因子），除非∥w∗∥或 G 太大，以至于即使 G∥w∗∥√T 在 T 中也大致线性。因此，在可以实现次线性遗憾的所有场景中，它匹配了最佳界限，这可以说是最 “有趣” 的情况。

May, 2024

本文介绍了一种用于在线稀疏线性回归问题的算法，并在每次迭代时使用多项式时间限制来使遗憾较小。结果证明对于任何常数 δ> 0，没有算法可以使遗憾在 O (T ^（1-δ）) 以内，即使允许算法访问比最佳稀疏线性回归器更多的特征。

Mar, 2016

研究一种基于连续时间的在线优化策略族，证明其能够达到无遗憾学习。从传统的离散时间角度来看，这种方法可导出大量离散时间算法（包括一些经典遗憾分析算法）的无遗憾性质，并统一了许多经典的遗憾上界，得到了一个无需借助于倍增技巧即可保证 $O (n^{-1/2})$ 遗憾上界的学习策略类。

Jan, 2014

我们开发了一种用于在线线性回归的算法，即使在完全没有先验知识的情况下，也能实现最佳的静态和动态遗憾保证。

May, 2024

本文研究保序回归估计器的偏差问题，证明了只要均值单调且噪点分布具有亚指数尾部即可推广偏差缩放为 $O (n^{-eta/3})$ 的结果，其中定义了指数 $eta$ 来刻画平滑度

Aug, 2019