我们提出了一个基于分离随机逼近框架的在线学习算法，其中对于某些具有线性特性的模型参数，我们采用递归最小二乘（RLS）算法进行更新，然后根据更新后的线性参数，采用随机梯度法（SGD）更新非线性参数，该算法可以理解为一种随机逼近版块坐标梯度下降方法，已经在非凸情况下获得全局收敛性，数值实验表明，该方法提高了收敛速度并在与其他流行学习算法比较时产生更稳健的训练和测试性能，此外，我们的算法对学习速率不太敏感并且优于最近提出的 slimTrain 算法。

May, 2023

基于顺序熵，确立了在线回归的最佳速率，发现最佳速率具有类似于独立同分布 / 统计学习情况的相变。此外，展示了一种享有建立的最佳速率的通用预测器和一种设计在线回归算法且计算高效的方法。

Feb, 2014

本文介绍一种在线学习算法，该算法是收敛于再生核希尔伯特空间（RKHS）中的回归函数的正则化路径的顺序随机逼近。通过小心选择增益或步长序列，我们展示了可以生产出批量学习的最佳已知强收敛速率，并给出了弱收敛速率，其在文献中达到了最小化和个人较低速率的最优水平，并利用 Hilbert 空间中鞍点型不等式为鞍点型型不等式的马尔可夫过程推导出几乎肯定的收敛。通过类似于批量学习设置的偏差 - 方差分解，我们证明偏差包括沿正则化路径的逼近误差和漂移误差，这些误差显现了相同的收敛速率，而方差则来自样本误差，分析为反向鞍点型差分序列，上述速率通过偏差和方差之间的最佳折衷得到。

Mar, 2011

本文首次给出了一个多项式时间算法，用于在示例和标签中对抗性堕落下执行线性或多项式回归，并基于 SoS 方法提出了一种自然的凸松弛方法来解决非凸优化问题。

Mar, 2018

在线统计推断使得实时分析顺序采集的数据成为可能，本文引入了一种针对高维广义线性模型的在线推断新方法，通过在每次新增数据到达时更新回归系数估计和其标准误差，与现有方法相比，该方法以单次传递模式运行，大大降低了时间和空间复杂度。方法的核心创新在于针对动态目标函数设计的自适应随机梯度下降算法，结合了一种新型的在线去偏过程，能够在有效控制由动态变化的损失函数引入的优化误差的同时，保持低维度的摘要统计量。我们的方法，即近似去偏套索（ADL），不仅减轻了有界个别概率条件的需求，而且显著提高了数值性能。数值实验证明了所提出的 ADL 方法在各种协方差矩阵结构下一致表现出鲁棒性。

May, 2024

我们引入了一个在线数学框架，用于生存分析，允许对动态环境和被审查数据进行实时适应。通过优化性能高的二次在线凸优化算法 —— 在线牛顿阶段（ONS），我们能够估计事件时间分布。我们分析了 ONS 超参数的选择，该选择依赖于指数凹性质并对遗憾界限有重要影响。另外，我们提出了一种保证 ONS 对数随机遗憾的随机方法。最后，我们通过模拟实验来验证了这些论断。

Feb, 2024

本文研究了在线情况下健壮线性回归问题，提出了一种基于随机梯度下降方法和 L1 损失函数的高效算法，能够在存在污染数据情况下有效检测和去除异常值，算法复杂度与污染比例相关。

Jul, 2020

通过将问题视为条件随机优化问题，我们开发并分析了工具变量回归算法。在最小二乘工具变量回归的背景下，我们的算法既不需要矩阵求逆也不需要小批量处理，并为使用流数据进行工具变量回归提供了完全的在线方法。当真实模型是线性的时，对于任意的正数 iota，在具有两个样本和一个样本估计器的情况下，我们推导出期望意义下的收敛速度，分别为 O (log T/T) 和 O (1/T^(1-iota))，其中 T 是迭代次数。重要的是，在具有两个样本估计器的情况下，我们的方法避免了显式建模和估计混淆因子与工具变量之间的关系，展示了该方法相对于基于重定义问题为极小化极大化优化问题的最近工作的优势。数值实验验证了理论结果。

May, 2024

在线学习方法在最小假设下产生顺序遗憾界限，并为统计学习提供期望风险界限；然而，最近的研究结果表明，在许多重要情况下，遗憾界限可能无法保证统计背景下紧致的高概率风险界限。本研究通过将通用在线学习算法应用于在线到批次转换，通过对定义遗憾的损失函数进行一般的二阶校正，获得了几个经典统计估计问题（如离散分布估计、线性回归、逻辑回归和条件密度估计）的几乎最优的高概率风险界限；我们的分析依赖于在线学习算法的不恰当性，因为它们不限制使用给定参考类别的预测器；我们的估计器的不恰当性使得在各种问题参数上显著改善了依赖；最后，我们讨论了我们的顺序算法与现有批处理算法之间的一些计算上的优势。

Aug, 2023

本文主要介绍了在强污染模型下进行统计回归问题的快速算法，其中使用了鲁棒梯度下降框架，并提出了更快、更有效的算法来加速最优化过程。

Jun, 2021