本文针对 H-smooth 损失函数和具有 Rademacher 复杂度 R_n 的假设类的经验风险最小化，建立了 O（HR_n^2 + R_n sqrt {HL*}）的过量风险界，其中 L * 是假设类可实现的最佳风险。针对典型的假设类，其中 R_n = sqrt（R /n），在可分离（L * = 0）情况下，这相当于 O（RH /n）的学习率，更普遍的情况下为 O（RH /n + sqrt {L * RH /n}）。我们还针对具有平滑非负目标的在线和随机凸优化提供类似的保证。

Sep, 2010

研究非有界并且存在重尾分布的损失函数的快速学习率，并引入了两个新的条件，可以得到比 $O (n^{-1/2})$ 更快的学习速率，例如在 $k$- 均值聚类问题中得到的结果。

Sep, 2016

本文讨论了经验风险最小化在统计学习和非统计预测模型中的快速收敛特性，其中针对后者提出了随机混合性概念，并证明了快速收敛条件可以建立在该概念上。

Jun, 2014

本文提出了一种适用于广义无界损失函数的新型超额风险界限，并探讨了该界限对于广义贝叶斯推断在错误设置下具有的收敛速率以及其与赫林格度量的关系。

May, 2016

通过使用带有二次希尔伯特范数的凸经验风险正则化的学习方法，我们考虑了线性预测器和非线性预测器的设置，同时包括正定核。针对这类损失，作者提出了一种偏差 - 方差分解思路，并通过改善偏差项、方差项或二者同时来快速逼近渐进速率，从而实现在减小自相近损失假设下的非高斯预测器更快速的收敛效果。

Feb, 2019

本研究对基于 Gibbs 的转移学习算法的泛化能力进行了信息论分析，结果表明转移学习的好处可以看作是源分布引起的偏差和目标样本不足引起的方差的权衡。

Nov, 2021

本文主要介绍了在强污染模型下进行统计回归问题的快速算法，其中使用了鲁棒梯度下降框架，并提出了更快、更有效的算法来加速最优化过程。

Jun, 2021

研究揭示了插值分类器能够实现快速的过度贝叶斯风险收敛率，并证明了有时能够获得超快速收敛率，这与传统认知的最快收敛率为 $n^{-1}$ 不一致，而且通过最小化风险方法构造的分类器一般会收敛得更慢。

Aug, 2007

本文提出了关于数据相关假设集合普适性的研究，基于一种转移 Rademacher 复杂度的概念，为数据相关假设集合提供了普适性学习保证。我们的主要结果是一种关于数据相关假设集合的普适性界限，这个界限可以用我们引入的假设集合稳定性和数据相关假设集合的 Rademacher 复杂程度来表示。这个界限包括标准 Rademacher 复杂度的界限和算法相关的统一稳定性界限。我们还说明了这些学习界限在几种情况下的应用。

Apr, 2019

算法和数据相关的广义化界限是解释现代机器学习算法的广义化行为所必需的。在这个背景下，存在包括 (各种形式的) 互信息和基于假设集稳定性的信息论广义化界限。我们提出了一个概念上相关但技术上独特的复杂度度量方法来控制广义化误差，这就是算法和数据相关的假设类的经验 Rademacher 复杂度。通过结合 Rademacher 复杂度的标准特性和这个类的方便结构，我们能够 (i) 获得基于有限分形维度的新界限，这些界限将之前从连续假设类推广到有限假设类，并避免了先前工作中所需的互信息项；(ii) 大大简化了最近一个和维度无关的随机梯度下降的广义化界限的证明；(iii) 我们轻松恢复了 VC 类和压缩方案的结果，类似于基于条件互信息的方法。

Jul, 2023