基于加权 Rademacher 复杂度的近似推理
本文提出了基于数据依赖性复杂度概念的学习算法误差的新界限,利用局部和经验版本的 Rademacher 平均值对估计进行优化,适用于具有小样本误差函数子集的情况,并应用于凸函数类和核函数类的分类和预测问题。
Aug, 2005
该研究提出了一种基于两步半监督模型的多类分类器的 Rademacher 复杂性界,通过聚类技术和较少的带标签数据来训练分类器,并得到包含泛化误差界的数据相关收敛速度的理论结果。
Jul, 2016
算法和数据相关的广义化界限是解释现代机器学习算法的广义化行为所必需的。在这个背景下,存在包括 (各种形式的) 互信息和基于假设集稳定性的信息论广义化界限。我们提出了一个概念上相关但技术上独特的复杂度度量方法来控制广义化误差,这就是算法和数据相关的假设类的经验 Rademacher 复杂度。通过结合 Rademacher 复杂度的标准特性和这个类的方便结构,我们能够 (i) 获得基于有限分形维度的新界限,这些界限将之前从连续假设类推广到有限假设类,并避免了先前工作中所需的互信息项;(ii) 大大简化了最近一个和维度无关的随机梯度下降的广义化界限的证明;(iii) 我们轻松恢复了 VC 类和压缩方案的结果,类似于基于条件互信息的方法。
Jul, 2023
本文主要研究了机器学习模型的鲁棒性问题,特别是针对 l∞ 攻击所造成的影响,并考察了基于 Rademacher 复杂度的鲁棒泛化问题。研究表明,通过限制权重矩阵的 l1 范数可能是提高在对抗环境下的泛化性能的有效方法。
Oct, 2018
利用转导 Rademacher 复杂度及其 Error bounds 技术,借助新型的算法误差求解及算法刻画技术,得出三个已知的算法误差边界并针对混合转导算法提出新的 PAC-Bayesian 边界。
Jan, 2014
本文提出了关于数据相关假设集合普适性的研究,基于一种转移 Rademacher 复杂度的概念,为数据相关假设集合提供了普适性学习保证。我们的主要结果是一种关于数据相关假设集合的普适性界限,这个界限可以用我们引入的假设集合稳定性和数据相关假设集合的 Rademacher 复杂程度来表示。这个界限包括标准 Rademacher 复杂度的界限和算法相关的统一稳定性界限。我们还说明了这些学习界限在几种情况下的应用。
Apr, 2019
对深度神经网络进行对抗性示例训练通常导致对测试时的对抗数据泛化能力差,本论文通过 Rademacher 复杂度研究了这个问题,提出了上确界对于匹配标准设置中的最优上确界的 DNN 的对抗 Rademacher 复杂度,通过计算对抗函数类的覆盖数来解决核心挑战,并引入了一种新的覆盖数变体,称为 “均匀覆盖数”,以有效地填补稳健和标准泛化中的 Rademacher 复杂度差距。
Jun, 2024
提出了一种新的学习理论复杂性概念,它在经验风险最小化和贝叶斯估计器的情况下分别以数据无关的 Rademacher 复杂度和数据相关的信息复杂度进行上限绑定,并通过 Rademacher 复杂度将其与 $L_2 (P)$ 熵进行关联。该研究进一步使用 ' 易于理解 ' 和模型复杂性等相互分离的方法,提供适用于 VC 和多项式熵类的最优性差距上限。
Oct, 2017
本文探讨了强化学习中的一种 Batch Reinforcement Learning,并对 Bellman 误差进行了估计及最小化的元学习方法,通过对一系列函数类(包括有限类、线性空间、核空间、稀疏线性特征等)进行局部 Rademacher 复杂度评估,进而探索算法的泛化性能。研究发现:在双子抽样策略下的经验风险极小化策略的过多风险可以通过函数类的 Rademacher 复杂度进行界定;使用完备性假设可以在算法的 Rademacher 复杂度下再次将 FQI and Minimax 策略优化;通过局部 Rademacher 复杂度可以实现快速统计速率。
Mar, 2021
研究了在 $l_r$-norm 测量下带有敌对干扰的线性假设的敌对经验 Rademacher 复杂性的上限和下限,扩展了已有的结果并提供了更精细的维度依赖性分析,并在单个 ReLU 单元和具有一层隐藏层的前馈神经网络中提供了 Rademacher 复杂度上下界。
Apr, 2020