Jan, 2024

对无界损失的 PAC-Bayes-Chernoff 界限

PDF
TL;DR我们提出了一个新的高概率 PAC-Bayes 预言界，用于无界损失。该结果可以理解为 Chernoff 界的 PAC-Bayes 版本。证明技巧依赖于基于损失的 Cramé 变换来统一地对某些随机变量的尾部进行界定。我们强调了我们主要结果的两个应用。首先，我们展示了我们的界解决了许多 PAC-Bayes 界上优化自由参数的开放问题。最后，我们展示了我们的方法允许在损失函数上进行灵活的假设，从而得到泛化之前界的新界，并且可以最小化以获取类似于 Gibbs 的后验概率。
pac-bayesoracle boundchernoff boundloss functiongibbs-like posteriors
发现论文，激发创造
  • 更多 PAC-Bayes 界：从有界损失到具有一般剪尾行为的损失，到任何时候都有效

    该论文提出了一种新的高概率 PAC-Bayes 界限，其中涉及到了带界范围和更一般尾部行为的损失，并提出了一些新的基于参数和基于事件的界限技术，可以得到更紧密和可解释的结果，并将结果扩展到任何现有范围上

    Jun, 2023

  • PAC-Bayes 分析超越平常的边界

    该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法，同时研究了使用数据相关先验分布的应用，包括针对无界方差的损失函数的一种新颖的边界推导方法。

    Jun, 2020

  • 论具有有限矩的损失函数的泛化界注记

    本文研究了来自 Alquier [1] 的截断方法，以推导具有重尾的无界损失的高概率 PAC-Bayes 边界。假设第 p 阶矩有界，则得到的边界在 p=2 时呈现慢速率 1/sqrt (n)，在 p→∞且损失基本有界时呈现快速率 1/n。此外，本文还推导了具有有界方差的损失的高概率 PAC-Bayes 边界，其对置信参数和依赖度量的依赖关系与文献中的之前边界有指数级的改进。最后，本文将所有结果推广到期望保证和单次抽取的 PAC-Bayes 中，并以此获得了 [2] 中有界损失的 PAC-Bayes 快速率边界在这些设置中的类比。

    Mar, 2024

  • PAC-Bayesian 理论应用于贝叶斯推理

    展示了贝叶斯边际似然和频率 PAC-Bayesian 风险边界之间的联系；在最小化 PAC-Bayesian 广义化风险上推导了最大化贝叶斯边际似然；针对未约束损失函数提出了适用于亚伽马损失函数族的 PAC-Bayesian 定理，并在贝叶斯线性回归任务中表明其方法的有效性。

    May, 2016

  • 一个带有 Dropout 界限的 PAC-Bayesian 教程

    这篇论文简要介绍了现有的 PAC-Bayesian 理论，重点关注三种泛化界限及其应用，可以有效地处理规则参数及提供训练保障。

    Jul, 2013

  • 基于随机集的 PAC-Bayesian 理论对数据依赖假设集的统一泛化界限

    我们从 PAC-Bayesian 的角度提出了数据相关的均匀泛化界，通过将训练算法输出的数据相关假设集应用于随机集的严格方法，我们证明了数据相关的界，适用于多种情境，并将此方法应用于基于分形维度的泛化界和连续 Langevin 动力学以及随机梯度 Langevin 动力学的轨迹上，这些结果为噪声算法的泛化特性提供了新的信息。

    Apr, 2024

  • 用哈密尔顿蒙特卡洛估计最优的 PAC-Bayes 界限

    该论文通过对 MNIST 数据集进行实验，研究了 PAC-Bayes 参数约束为分解高斯分布时在优化 PAC-Bayes 界限时可能损失的紧密度，结果表明在某些情况下存在 5-6% 的显著紧密度差距。

    Oct, 2023

  • 利用 PAC-Bayes 理论和 Gibbs 分布进行具有复杂度度量的泛化界限

    该研究利用分解的 PAC-Bayes 边界框架得出一个可适配任意复杂度度量的一般泛化边界，其中关键步骤是考虑一系列常用的分布：Gibbs 分布。该边界在概率上同时适用于假设和学习样本，允许复杂度根据泛化差距进行调整，以适应假设类和任务。

    Feb, 2024

  • 非均匀收敛下的最优 PAC 上界

    本研究提出一种新的框架，超越了传统统一收敛方法的限制，将排列不变预测器的交叉检验误差转化为高概率风险界，并通过 Haussler, Littlestone, 和 Warmuth 的一种算法在二元分类中实现了最优 PAC 界限。在多类分类、部分假设分类和实现有限的回归等三种不同场合中，我们证明了该框架的优越性能。

    Apr, 2023

  • 优于 KL 的 PAC-Bayes 界

    本文研究了使用新颖且优于 KL 散度的 PAC-Bayes 边界，以及这种边界在估计均值时的集中不等式问题，对比了以往 KL 散度为基础的边界，并探讨了最佳 PAC-Bayes 边界速率的可能性。

    Feb, 2024