本文研究了无正则化的 RKHS 在线梯度下降算法的收敛性和收敛速率条件，探讨了平均迭代和最后一次迭代的过度泛化误差和收敛速率，首次提出了无强凸性的 online gradient descent 的高概率收敛速率。
Aug, 2017
本文介绍一种在线学习算法，该算法是收敛于再生核希尔伯特空间（RKHS）中的回归函数的正则化路径的顺序随机逼近。通过小心选择增益或步长序列，我们展示了可以生产出批量学习的最佳已知强收敛速率，并给出了弱收敛速率，其在文献中达到了最小化和个人较低速率的最优水平，并利用 Hilbert 空间中鞍点型不等式为鞍点型型不等式的马尔可夫过程推导出几乎肯定的收敛。通过类似于批量学习设置的偏差 - 方差分解，我们证明偏差包括沿正则化路径的逼近误差和漂移误差，这些误差显现了相同的收敛速率，而方差则来自样本误差，分析为反向鞍点型差分序列，上述速率通过偏差和方差之间的最佳折衷得到。
Mar, 2011
本研究提出了一种基于 robust loss function 的在线学习算法，通过选择合适的 scaling parameter 和步长，可以达到最优的收敛速度并且实现在均方距离和 Hilbert 空间强收敛速度的最优容量相关率，这两个结果都是在线学习领域中的新成果。
Apr, 2023
本文研究了基于再生核 Hilbert 空间（RKHS）框架下的随机设计最小二乘回归问题，其中采用平均非正则化最小均方算法得到了最优收敛速率。
Aug, 2014
本文研究了在重现核希尔伯特空间中进行正则化学习情景时，如何在核函数的温和假设下获得最佳的错误率。研究发现，可以利用一种增长速度比 RKHS 规范中的标准二次增长慢得多的正则化项。
Jan, 2010
研究了具有依赖性和非平稳在线数据流的递归正则化学习算法在复制核希尔伯特空间中的收敛性。通过研究随机差分方程在核希尔伯特空间中的均方渐近稳定性和随机 Tikhonov 正则化路径的概念，证明了算法输出与正则化路径一致，并且满足一定条件下算法输出与未知函数一致。对于独立和非同分布的数据流情况，通过研究边缘概率测度和定期时间段的平均测度，证明了均方一致性的实现。
Apr, 2024
使用分布式学习和最小二乘正则化方案，在再生核希尔伯特空间（RKHS）中对分块数据子集应用最小二乘正则化方案生成输出函数，以其平均值作为全局估计器或预测器，具有良好的 $L^2$ 度量和 RKHS 度量误差界限。在我们的积分算子方法中，通过运算符差分的新型二阶分解实现了分析，即使对于与一般核相关联的 RKHS 中的经典最小二乘正则化方案，我们也可以在文献中给出最佳的学习速率。
Aug, 2016
本文研究了基于在线学习的随机方法的泛化特性，提出了一种通用的解耦技术，可以提供基于 Rademacher 复杂度的泛化误差界限，并进一步分析了一类内存效率的在线学习算法。
May, 2013
研究了使用一种新的预测算法在无需假设标签与对象的生成方式的条件下，对已知标签对象的实时预测问题，通过比较此算法与一定范围内的预测规则，证明了此算法的误差率在极限范围下可达到最佳状态，可用于无参统计学的普适预测。
Nov, 2005
本文研究了在线学习算法中带有成对损失函数的泛化性能，并提出了一种数据依赖性较小的界限来衡量在线学习算法的平均风险产生的序列的模型偏差，同时针对常见的机器学习问题，如基于排名和监督度量学习提出了实际应用案例。
Jan, 2013