Feb, 2024

依赖学习理论中的尖锐速率：避免样本数量紧缩对于平方损失的影响

PDF
TL;DR统计学习中的依赖数据和平方损失在假设类 F 中研究，其中 Ψp 是范数 λf∥f∥Ψp≡supm≥1m−1/p∥f∥Lm 为某个 p∈[2,∞]。我们的研究旨在寻找一个与依赖数据学习相关的噪声交互项或者方差代理。在我们的假设类 F 上，当 L2 和 Ψp 的拓扑性质相当时，我们证明经验风险最小化者的速率只取决于类的复杂性和第二阶统计量，与混合的直接依赖性无关。我们将此称为近混合无关速率，因为对于混合的直接依赖性只作为一个附加的高阶项。我们通过将弱子高斯类的概念与混合尾部泛型链结合起来得出我们的结果。这种组合使我们能够计算出一系列问题的尖锐的、实例优化的速率。
statistical learningdependent datasquare lossvariance proxyempirical risk minimizer
发现论文，激发创造
  • 弱相关数据的强健深度学习

    近期的深度学习研究在有界的损失函数或 (亚) 高斯或有界输入的情况下建立了深度神经网络估计器的一些理论性质。本文考虑了从弱相关观测中进行鲁棒深度学习，涉及无界的损失函数和无界的输入 / 输出。仅假设输出变量具有有限的 r 阶矩，其中 r>1。在强混合和 ψ- 弱相关假设的情况下，建立了深度神经网络估计器的期望超额风险的非渐近界限。我们推导出了这些界限与 r 之间的关系，并且当数据具有任意阶的矩 (即 r =∞) 时，收敛速度接近于一些著名结果。当目标预测函数属于具有足够大平滑指数的 H"older 平滑函数类时，期望超额风险的速率对于指数强混合数据接近于或与使用独立同分布样本获得的速率相同。我们考虑了鲁棒非参数回归和鲁棒非参数自回归的应用。对于具有重尾误差的模型的模拟研究表明，具有绝对损失和 Huber 损失函数的鲁棒估计器优于最小二乘法。

    May, 2024

  • 鲁棒线性回归：多项式时间内的最优速率

    本文提出了一种在数据为超收缩分布、存在不可避免的敌对噪声情况下，基于平方和框架的线性模型学习算法，该算法的收敛速度与扰动的比例成幂率关系，能达到理论最优收敛速度且在先前研究中未被发现。

    Jun, 2020

  • 平滑损失学习的乐观速率

    本文针对 H-smooth 损失函数和具有 Rademacher 复杂度 R_n 的假设类的经验风险最小化，建立了 O（HR_n^2 + R_n sqrt {HL*}）的过量风险界，其中 L * 是假设类可实现的最佳风险。针对典型的假设类，其中 R_n = sqrt（R /n），在可分离（L * = 0）情况下，这相当于 O（RH /n）的学习率，更普遍的情况下为 O（RH /n + sqrt {L * RH /n}）。我们还针对具有平滑非负目标的在线和随机凸优化提供类似的保证。

    Sep, 2010

  • 超越最小二乘法：通过自协调快速收敛正则化经验风险最小化

    通过使用带有二次希尔伯特范数的凸经验风险正则化的学习方法，我们考虑了线性预测器和非线性预测器的设置，同时包括正定核。针对这类损失，作者提出了一种偏差 - 方差分解思路，并通过改善偏差项、方差项或二者同时来快速逼近渐进速率，从而实现在减小自相近损失假设下的非高斯预测器更快速的收敛效果。

    Feb, 2019

  • 正则化与小球方法 II：复杂度相关的错误率

    研究基于正则化函数的凸函数估计的性质，给出 $L_2$ 估计误差速率的界限，包括 True Model 的复杂度，应用于不同的正则化函数，结果适用于学习理论框架。

    Aug, 2016

  • 强混合观测的深度学习：稀疏处罚正则化与极小极大优化

    深度神经网络在依赖数据上的显式正则化和优化性能最近取得了相当大的进展。本文研究了从强混合观测样本中进行深度学习，并处理了平方损失和一类广义损失函数。对于包括回归估计、分类、时间序列预测等的一般框架，建立了期望超越风险的奥拉克不等式并给出了一类 H"older 平滑函数的界限。针对强混合数据和次指数误差的非参数回归，我们针对 $L_2$ 误差建立了奥拉克不等式，并研究了该误差在一类 H"older 组合函数上的上界。对于具有高斯和拉普拉斯误差的非参数自回归的特定情况，我们建立了 $L_2$ 误差在此 H"older 组合类上的下界。在对数因子上，这个界限与其上界匹配，因此深度神经网络估计器实现了最佳的极小化速率。

    Jun, 2024

  • 学习无需集中注意力

    通过小球假设，本文在不假定类成员和目标是有界函数或具有快速衰减尾部的情况下，对凸类和使用平方损失的经验风险最小化的性能进行了尖锐边界限制。得到的估计与问题的噪声水平正确比例，并且当应用于经典的有限场景时总是会改善已知的边界。

    Jan, 2014

  • 弱相依下通用损失函数的惩罚深度神经网络估计器

    本文使用稀疏惩罚深度神经网络预测器来学习弱相关过程，并提供了深度神经网络预测器类中 θ∞-coefficients 弱相关的非渐进泛化界限和超额风险的奥拉克不等式。

    May, 2023

  • 相关数据线性回归中的噪声水平

    本文研究了无实现性假设下具有相关 ($\beta$-mixing) 数据的随机设计线性回归的上界，并得出与中心极限定理预测的方差项恰当相符的结果。

    May, 2023

  • 重尾损失下的快速学习速率

    研究非有界并且存在重尾分布的损失函数的快速学习率，并引入了两个新的条件，可以得到比 $O (n^{-1/2})$ 更快的学习速率，例如在 $k$- 均值聚类问题中得到的结果。

    Sep, 2016