Mar, 2024

论具有有限矩的损失函数的泛化界注记

PDF
TL;DR本文研究了来自 Alquier [1] 的截断方法，以推导具有重尾的无界损失的高概率 PAC-Bayes 边界。假设第 p 阶矩有界，则得到的边界在 p=2 时呈现慢速率 1/sqrt (n)，在 p→∞且损失基本有界时呈现快速率 1/n。此外，本文还推导了具有有界方差的损失的高概率 PAC-Bayes 边界，其对置信参数和依赖度量的依赖关系与文献中的之前边界有指数级的改进。最后，本文将所有结果推广到期望保证和单次抽取的 PAC-Bayes 中，并以此获得了 [2] 中有界损失的 PAC-Bayes 快速率边界在这些设置中的类比。
发现论文，激发创造
  • 更多 PAC-Bayes 界：从有界损失到具有一般剪尾行为的损失，到任何时候都有效

    该论文提出了一种新的高概率 PAC-Bayes 界限，其中涉及到了带界范围和更一般尾部行为的损失，并提出了一些新的基于参数和基于事件的界限技术，可以得到更紧密和可解释的结果，并将结果扩展到任何现有范围上

    Jun, 2023

  • 对无界损失的 PAC-Bayes-Chernoff 界限

    我们提出了一个新的高概率 PAC-Bayes 预言界，用于无界损失。该结果可以理解为 Chernoff 界的 PAC-Bayes 版本。证明技巧依赖于基于损失的 Cramé 变换来统一地对某些随机变量的尾部进行界定。我们强调了我们主要结果的两个应用。首先，我们展示了我们的界解决了许多 PAC-Bayes 界上优化自由参数的开放问题。最后，我们展示了我们的方法允许在损失函数上进行灵活的假设，从而得到泛化之前界的新界，并且可以最小化以获取类似于 Gibbs 的后验概率。

    Jan, 2024

  • 一个带有 Dropout 界限的 PAC-Bayesian 教程

    这篇论文简要介绍了现有的 PAC-Bayesian 理论，重点关注三种泛化界限及其应用，可以有效地处理规则参数及提供训练保障。

    Jul, 2013

  • 论 PAC Bayesian 定理

    本文证明了平均值的指数矩不等式，并利用它们来加强 PAC Bayesian 定理，使得 PAC Bayesian 边界中计数的对数项减半。

    Nov, 2004

  • PAC-Bayes 分析超越平常的边界

    该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法，同时研究了使用数据相关先验分布的应用，包括针对无界方差的损失函数的一种新颖的边界推导方法。

    Jun, 2020

  • 广义无界损失函数的快速收敛：从 ERM 到广义贝叶斯

    本文提出了一种适用于广义无界损失函数的新型超额风险界限，并探讨了该界限对于广义贝叶斯推断在错误设置下具有的收敛速率以及其与赫林格度量的关系。

    May, 2016

  • 通过插值获得更严格的泛化界限

    通过使用 (f,Γ) 差异得出新的 PAC-Bayes 广义边界，本文还提供了一系列概率差异 (包括但不限于 KL、Wasserstein 和总变差) 的 PAC-Bayes 广义边界，在后验分布性质不同的情况下选择最佳解，我们探索了这些边界的紧密程度并与统计学习的之前结果联系起来，这也是特定情况。此外，我们将这些边界作为训练目标实例化，提供非平凡的保证和实际性能。

    Feb, 2024

  • 基于随机集的 PAC-Bayesian 理论对数据依赖假设集的统一泛化界限

    我们从 PAC-Bayesian 的角度提出了数据相关的均匀泛化界，通过将训练算法输出的数据相关假设集应用于随机集的严格方法，我们证明了数据相关的界，适用于多种情境，并将此方法应用于基于分形维度的泛化界和连续 Langevin 动力学以及随机梯度 Langevin 动力学的轨迹上，这些结果为噪声算法的泛化特性提供了新的信息。

    Apr, 2024

  • PAC-Bayesian 理论应用于贝叶斯推理

    展示了贝叶斯边际似然和频率 PAC-Bayesian 风险边界之间的联系；在最小化 PAC-Bayesian 广义化风险上推导了最大化贝叶斯边际似然；针对未约束损失函数提出了适用于亚伽马损失函数族的 PAC-Bayesian 定理，并在贝叶斯线性回归任务中表明其方法的有效性。

    May, 2016

  • 信息密度和条件信息密度的泛化界

    通过指数不等式的方法，我们研究了随机学习算法的泛化误差的界限和概率分布，针对亚高斯损失函数提供了以训练数据和输出假设之间信息密度为依据的新的界限，并将该方法扩展到了基于随机选择训练数据子集的情况。

    May, 2020