通过平移Rademacher过程的快速PAC-Bayes泛化界限
提出了第一篇关于在具有内在依赖性的数据上训练分类器的Pac-Bayes泛化界的研究,该方法基于依赖图的分解,通过图分数覆盖将依赖关系编码在数据的独立数据集中。
Sep, 2009
展示了贝叶斯边际似然和频率PAC-Bayesian风险边界之间的联系;在最小化PAC-Bayesian广义化风险上推导了最大化贝叶斯边际似然;针对未约束损失函数提出了适用于亚伽马损失函数族的PAC-Bayesian定理,并在贝叶斯线性回归任务中表明其方法的有效性。
May, 2016
提出了一种新的学习理论复杂性概念,它在经验风险最小化和贝叶斯估计器的情况下分别以数据无关的Rademacher复杂度和数据相关的信息复杂度进行上限绑定,并通过Rademacher复杂度将其与$L_2(P)$熵进行关联。该研究进一步使用'易于理解'和模型复杂性等相互分离的方法,提供适用于VC和多项式熵类的最优性差距上限。
Oct, 2017
该论文表明,熵-SGD可以优化关于Gibbs分类器风险的PAC-Bayes界限,证明获得的数据相关先验概率由SGLD提供,并保持相对紧密的泛化界限。
Dec, 2017
该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法,同时研究了使用数据相关先验分布的应用,包括针对无界方差的损失函数的一种新颖的边界推导方法。
Jun, 2020
在训练之前,利用PAC-Bayes和优化算法之间的联系,扩展Wasserstein PAC-Bayes框架,基于损失函数的几何假设提供新的泛化界,并证明了算法输出具有强大的渐近泛化能力。
Apr, 2023
本文介绍了基于Wasserstein距离的PAC-Bayesian泛化边界,并从分别适用于批量学习与独立同分布数据和在线学习的角度进行了证明,并获得了用于SRM的可优化培训目标。
Jun, 2023
通过使用(f,Γ)差异得出新的PAC-Bayes广义边界,本文还提供了一系列概率差异(包括但不限于KL、Wasserstein和总变差)的PAC-Bayes广义边界,在后验分布性质不同的情况下选择最佳解,我们探索了这些边界的紧密程度并与统计学习的之前结果联系起来,这也是特定情况。此外,我们将这些边界作为训练目标实例化,提供非平凡的保证和实际性能。
Feb, 2024
该研究利用分解的PAC-Bayes边界框架得出一个可适配任意复杂度度量的一般泛化边界,其中关键步骤是考虑一系列常用的分布:Gibbs分布。该边界在概率上同时适用于假设和学习样本,允许复杂度根据泛化差距进行调整,以适应假设类和任务。
Feb, 2024
我们从PAC-Bayesian的角度提出了数据相关的均匀泛化界,通过将训练算法输出的数据相关假设集应用于随机集的严格方法,我们证明了数据相关的界,适用于多种情境,并将此方法应用于基于分形维度的泛化界和连续Langevin动力学以及随机梯度Langevin动力学的轨迹上,这些结果为噪声算法的泛化特性提供了新的信息。
Apr, 2024