PAC-Bayes 分析超越平常的边界

Jun, 2020

PAC-Bayes Analysis Beyond the Usual Bounds

Omar Rivasplata, Ilja Kuzborskij, Csaba Szepesvari, John Shawe-Taylor

TL;DR该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法，同时研究了使用数据相关先验分布的应用，包括针对无界方差的损失函数的一种新颖的边界推导方法。

Abstract

We focus on a stochastic learning model where the learner observes a finite set of training examples and the output of the learning process is a data-dependent distribution over a space of hypotheses. The learned data-dependent distribution is then used to make randomized predictions,

stochastic learning model generalization pac-bayes analysis data-dependent priors square loss

发现论文，激发创造

数据在 PAC-Bayes 边界中的作用

本文研究 PAC-Bayes 边界中的先验和后验之间的 KL 散度，在线性 PAC-Bayes 风险边界中，通过选择期望后验作为先验，可以最小化边界的期望值。本文显示基于 oracle prior 的界限可能是次优的：在某些情况下，使用数据依赖的 oracle prior 可以得到更强的界限，而将 oracle prior 设为条件期望。该文章还应用该新原则在非凸学习中，并在 MNIST 和 Fashion MNIST 中模拟数据依赖的 oracle prior，展示了两种情况下的新的非虚位界限。

Jun, 2020

基于随机集的 PAC-Bayesian 理论对数据依赖假设集的统一泛化界限

我们从 PAC-Bayesian 的角度提出了数据相关的均匀泛化界，通过将训练算法输出的数据相关假设集应用于随机集的严格方法，我们证明了数据相关的界，适用于多种情境，并将此方法应用于基于分形维度的泛化界和连续 Langevin 动力学以及随机梯度 Langevin 动力学的轨迹上，这些结果为噪声算法的泛化特性提供了新的信息。

Apr, 2024

PAC-Bayes 界的用户友好型介绍

本文介绍了聚合和随机投票学习模型的 PAC-Bayes 泛化理论及其优化技术，并对这些技术在人工神经网络上的应用进行了探讨。

Oct, 2021

一个带有 Dropout 界限的 PAC-Bayesian 教程

这篇论文简要介绍了现有的 PAC-Bayesian 理论，重点关注三种泛化界限及其应用，可以有效地处理规则参数及提供训练保障。

Jul, 2013

利用 PAC-Bayes 理论和 Gibbs 分布进行具有复杂度度量的泛化界限

该研究利用分解的 PAC-Bayes 边界框架得出一个可适配任意复杂度度量的一般泛化边界，其中关键步骤是考虑一系列常用的分布：Gibbs 分布。该边界在概率上同时适用于假设和学习样本，允许复杂度根据泛化差距进行调整，以适应假设类和任务。

Feb, 2024

该论文提出了一种新的高概率 PAC-Bayes 界限，其中涉及到了带界范围和更一般尾部行为的损失，并提出了一些新的基于参数和基于事件的界限技术，可以得到更紧密和可解释的结果，并将结果扩展到任何现有范围上

Jun, 2023

PAC-Bayesian 理论应用于贝叶斯推理

展示了贝叶斯边际似然和频率 PAC-Bayesian 风险边界之间的联系；在最小化 PAC-Bayesian 广义化风险上推导了最大化贝叶斯边际似然；针对未约束损失函数提出了适用于亚伽马损失函数族的 PAC-Bayesian 定理，并在贝叶斯线性回归任务中表明其方法的有效性。

May, 2016

优于 KL 的 PAC-Bayes 界

本文研究了使用新颖且优于 KL 散度的 PAC-Bayes 边界，以及这种边界在估计均值时的集中不等式问题，对比了以往 KL 散度为基础的边界，并探讨了最佳 PAC-Bayes 边界速率的可能性。

Feb, 2024

基于 Wasserstein 的高概率泛化界学习

本文介绍了基于 Wasserstein 距离的 PAC-Bayesian 泛化边界，并从分别适用于批量学习与独立同分布数据和在线学习的角度进行了证明，并获得了用于 SRM 的可优化培训目标。

Jun, 2023

对无界损失的 PAC-Bayes-Chernoff 界限

我们提出了一个新的高概率 PAC-Bayes 预言界，用于无界损失。该结果可以理解为 Chernoff 界的 PAC-Bayes 版本。证明技巧依赖于基于损失的 Cramé 变换来统一地对某些随机变量的尾部进行界定。我们强调了我们主要结果的两个应用。首先，我们展示了我们的界解决了许多 PAC-Bayes 界上优化自由参数的开放问题。最后，我们展示了我们的方法允许在损失函数上进行灵活的假设，从而得到泛化之前界的新界，并且可以最小化以获取类似于 Gibbs 的后验概率。

Jan, 2024