研究非凸性学习任务中经验风险的精细属性（梯度）和群体对应属性的收敛速度以及收敛对优化的影响；提出矢量值 Rademacher 复杂性作为导出非凸问题梯度无维度一致收敛界的工具；给出了应用这些技术进行非凸广义线性模型和非凸健壮回归的批梯度下降方法的新分析，显示了使用任何找到近似稳定点的算法可以获得最优样本复杂度。

Oct, 2018

本文针对 H-smooth 损失函数和具有 Rademacher 复杂度 R_n 的假设类的经验风险最小化，建立了 O（HR_n^2 + R_n sqrt {HL*}）的过量风险界，其中 L * 是假设类可实现的最佳风险。针对典型的假设类，其中 R_n = sqrt（R /n），在可分离（L * = 0）情况下，这相当于 O（RH /n）的学习率，更普遍的情况下为 O（RH /n + sqrt {L * RH /n}）。我们还针对具有平滑非负目标的在线和随机凸优化提供类似的保证。

Sep, 2010

本文提出一种基于分布函数采样数据的 ReLU 回归算法并给出了第一个可行的常数近似算法，同时该算法适用于所有对数凸分布。通过更加复杂的技术，我们还能够获得任何次高斯分布的多项式时间逼近方案。

May, 2020

本文探讨如何在高斯分布下计算最适合的 ReLU 模型，证明了学习受高斯边缘影响下的 ReLU 模型的难点，并提出了一种利用噪声半空间学习算法的近似最优解法。

Nov, 2019

本研究探讨了在学习排序问题中，利普希茨连续性和平滑性如何影响泛化误差，并使用∞-norm 改进了现有界限。此外，选择好的范数使得在平滑性假设下，我们证明了介于 1 / 根号 n 和 1/n 之间的比率。

May, 2014

该论文对用于分类的各种代理损失函数的 $H$- 一致性界限（和超额误差界限）的增长率进行了全面分析。我们证明了二分类中平滑边界为基础的代理损失函数在接近零时的平方根增长率，并在温和假设下提供了上下界限。我们还将此分析扩展到多类分类，并通过一系列新颖的结果展示了平滑 comp-sum 和约束损失的普遍平方根增长率。在这个普遍率的基础上，我们研究了不同代理损失函数的选择问题，并首先考察了 $H$- 一致性界限在不同类别的代理损失函数间的变化。然后，我们通过忽略常数并关注接近零时的行为，确定了最小化差距是这些界限差异化因素的关键。因此，我们深入分析这些差距，以指导代理损失函数的选择，并涵盖：对不同的 comp-sum 损失进行比较，差距变为零的条件，以及导致小差距的一般条件。此外，我们还展示了最小化差距在比较超额误差界限和 $H$- 一致性界限中的关键作用。

May, 2024

通过使用带有二次希尔伯特范数的凸经验风险正则化的学习方法，我们考虑了线性预测器和非线性预测器的设置，同时包括正定核。针对这类损失，作者提出了一种偏差 - 方差分解思路，并通过改善偏差项、方差项或二者同时来快速逼近渐进速率，从而实现在减小自相近损失假设下的非高斯预测器更快速的收敛效果。

Feb, 2019

本文考虑在再生核希尔伯特空间中的非规则化在线学习算法，给出了分类的显式收敛速率以及对于一般损失函数的非规则化成对学习算法的首次收敛性证明和收敛速率。

Mar, 2015

统计学习中的依赖数据和平方损失在假设类 F 中研究，其中 Ψp 是范数 λf∥f∥Ψp≡supm≥1m−1/p∥f∥Lm 为某个 p∈[2,∞]。我们的研究旨在寻找一个与依赖数据学习相关的噪声交互项或者方差代理。在我们的假设类 F 上，当 L2 和 Ψp 的拓扑性质相当时，我们证明经验风险最小化者的速率只取决于类的复杂性和第二阶统计量，与混合的直接依赖性无关。我们将此称为近混合无关速率，因为对于混合的直接依赖性只作为一个附加的高阶项。我们通过将弱子高斯类的概念与混合尾部泛型链结合起来得出我们的结果。这种组合使我们能够计算出一系列问题的尖锐的、实例优化的速率。

Feb, 2024

本文将 Rademacher 平均值不等式扩展到向量值域的 Lipschitz 函数，并且也表明在边界表达式中 Rademacher 变量可以被任意 iid 对称和次高斯变量替代，给出了多类别学习、K 均值聚类和学习到学习的示例应用。

May, 2016