本文研究了基于在线学习的随机方法的泛化特性，提出了一种通用的解耦技术，可以提供基于 Rademacher 复杂度的泛化误差界限，并进一步分析了一类内存效率的在线学习算法。

May, 2013

本文提出了一种针对非可分离损失函数的在线学习框架，通过引入新型算法设计和分析，该模型具有高效的在线学习算法，具有亚线性遗憾和在线转换界限；进一步开发了可扩展的随机梯度下降求解器，经过实验在真实数据集上证明，该方法比近期提出的切割面算法快得多。

Oct, 2014

本文考虑在再生核希尔伯特空间中的非规则化在线学习算法，给出了分类的显式收敛速率以及对于一般损失函数的非规则化成对学习算法的首次收敛性证明和收敛速率。

Mar, 2015

该论文从交叉匹配角度分析了相似性学习，提出了一种基于 ROC 优化的点级优化标准，通过一种概率框架对此进行了深入研究，给出了基于 U - 统计的约束优化表达式，推导出相应的普适性学习速率以及在数据分布噪声假设下更快速的学习速率，同时考虑了采样近似近似的效果，同时通过量化实验得到了与理论相称的实验结果。

Jul, 2018

本文研究深度 ReLU 网络下的成对学习，估计其多余泛化误差。通过成对最小二乘损失函数，取得近乎最优的估计上界。

May, 2023

本文研究了采用 “点损失 + 对损失” 混合误差度量的点对学习 (PPL) 的泛化性质，通过将算法稳定性的概念扩展到 PPL 设置，建立了均匀稳定 PPL 算法的高概率泛化界，并通过发展对学习的稳定性分析技术，说明了 PPL 的随机梯度下降 (SGD) 和正则化风险最小化 (RRM) 的明确收敛速率。此外，也得到了换成平均稳定性的 PPL 的精细的泛化界限。

Feb, 2023

研究了随机梯度下降优化算法在成对学习中稳定性与其与优化误差的权衡，并证明了成对学习的凸性、强凸性和非凸性稳定结果，并由此得出推广区间，同时得到了 SGD 算法的优化误差和预期风险的下限。

Apr, 2019

本文研究任意函数类和一般损失的在线回归问题，并确定了最小极大率。结果表明，当函数类的复杂度低于某一阈值时，最小极大率取决于损失函数的曲率和序列复杂度。而当复杂度高于该阈值时，损失的曲率不再影响率。此外，对于平方损失，当顺序和独立同分布的经验熵匹配时，统计和在线学习的速率相同。我们还提供了一种通用的预测器，它具有确定的最优率，并提供了一种设计在线预测算法的方法，用于某些问题可以是计算量有效的。

Jan, 2015

在线学习方法在最小假设下产生顺序遗憾界限，并为统计学习提供期望风险界限；然而，最近的研究结果表明，在许多重要情况下，遗憾界限可能无法保证统计背景下紧致的高概率风险界限。本研究通过将通用在线学习算法应用于在线到批次转换，通过对定义遗憾的损失函数进行一般的二阶校正，获得了几个经典统计估计问题（如离散分布估计、线性回归、逻辑回归和条件密度估计）的几乎最优的高概率风险界限；我们的分析依赖于在线学习算法的不恰当性，因为它们不限制使用给定参考类别的预测器；我们的估计器的不恰当性使得在各种问题参数上显著改善了依赖；最后，我们讨论了我们的顺序算法与现有批处理算法之间的一些计算上的优势。

Aug, 2023

在线梯度下降方法在配对学习中的应用以及引入具有子线性后悔界的轻量级在线梯度下降算法，该算法可适用于线性模型和核配对学习，通过集成随机傅里叶特征有效降低内核计算复杂度，并在离线和在线场景中优于内核和线性算法。

Feb, 2024