本文分为两部分，第一部分研究了统计学习问题的可学习性和在线学习问题的泛化能力，使用稳定性和经典工具如Rademacher复杂度和覆盖数，发现一般学习环境下统一收敛理论无法检测可学习性，第二部分针对凸优化问题提出了适当的镜像下降更新以及MD算法在凸优化问题上的可行性研究，证明线性类的fat-shattering维度限制了预测问题的oracle复杂度。

Apr, 2012

本文提出使用一种广泛的强适当损失类来实现针对二分排序问题的非两两代理规则界限，并通过最近的结果进一步获得了低噪声条件下的更紧密的代理规则界限。

Jul, 2012

本文研究了基于在线学习的随机方法的泛化特性，提出了一种通用的解耦技术，可以提供基于 Rademacher 复杂度的泛化误差界限，并进一步分析了一类内存效率的在线学习算法。

May, 2013

本文详细证明了相对偏差界限的双侧不等式及其影响，并在损失函数的无界情况下给出了双侧广义界限的证明，其中假设损失的某一时刻有界。这些界限对于重要性加权和其他学习任务如无界回归的分析非常有用。

Oct, 2013

本文提出了一种针对非可分离损失函数的在线学习框架，通过引入新型算法设计和分析，该模型具有高效的在线学习算法，具有亚线性遗憾和在线转换界限; 进一步开发了可扩展的随机梯度下降求解器，经过实验在真实数据集上证明，该方法比近期提出的切割面算法快得多。

Oct, 2014

本文研究任意函数类和一般损失的在线回归问题，并确定了最小极大率。结果表明，当函数类的复杂度低于某一阈值时，最小极大率取决于损失函数的曲率和序列复杂度。而当复杂度高于该阈值时，损失的曲率不再影响率。此外，对于平方损失，当顺序和独立同分布的经验熵匹配时，统计和在线学习的速率相同。我们还提供了一种通用的预测器，它具有确定的最优率，并提供了一种设计在线预测算法的方法，用于某些问题可以是计算量有效的。

Jan, 2015

本文考虑在再生核希尔伯特空间中的非规则化在线学习算法，给出了分类的显式收敛速率以及对于一般损失函数的非规则化成对学习算法的首次收敛性证明和收敛速率。

Mar, 2015

研究了随机梯度下降优化算法在成对学习中稳定性与其与优化误差的权衡，并证明了成对学习的凸性、强凸性和非凸性稳定结果，并由此得出推广区间，同时得到了SGD算法的优化误差和预期风险的下限。

Apr, 2019

本研究提出了一种基于robust loss function的在线学习算法，通过选择合适的scaling parameter和步长，可以达到最优的收敛速度并且实现在均方距离和Hilbert空间强收敛速度的最优容量相关率，这两个结果都是在线学习领域中的新成果。

Apr, 2023

在线渐减梯度法是解决涉及训练示例对的损失函数机器学习问题中至关重要的方法之一。本研究提出了一种扩展到核在线成对学习的有限内存在线渐减梯度算法，同时改善亚线性遗憾。通过构建在线渐减梯度与格雷特之间的清晰关系，并使用存储有限数量的最新分层样本构建在线渐减梯度，我们的算法在真实数据集上的实验证明其优于核化和线性的在线成对学习算法。

Oct, 2023