NIPSMay, 2016

PAC-Bayesian 理论应用于贝叶斯推理

PDF
TL;DR展示了贝叶斯边际似然和频率 PAC-Bayesian 风险边界之间的联系；在最小化 PAC-Bayesian 广义化风险上推导了最大化贝叶斯边际似然；针对未约束损失函数提出了适用于亚伽马损失函数族的 PAC-Bayesian 定理，并在贝叶斯线性回归任务中表明其方法的有效性。
frequentist pac-bayesian risk boundsbayesian marginal likelihoodpac-bayesian theorembayesian occam's razor criteriasub-gamma loss family
发现论文，激发创造
  • PAC$^m$-Bayes：缩小误差贝叶斯模型的经验风险差距

    本研究提出了一种多样本损失方法用以改进贝叶斯后验预测分布的泛化性能，该方法不仅具有计算优势还提供了 PAC 泛化保证，实证研究显示该方法可以有效改善预测分布。

    Oct, 2020

  • PAC-Bayes 分析超越平常的边界

    该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法，同时研究了使用数据相关先验分布的应用，包括针对无界方差的损失函数的一种新颖的边界推导方法。

    Jun, 2020

  • 具有 PAC-Bayesian 保证的学习优化：理论考虑和实践实现

    用 PAC-Bayesian 理论为学习优化问题提供了第一个具备可证估计以及收敛保证和收敛速度权衡的框架，学习出的优化算法在比起仅从最坏情况分析得出的算法上具备可证的优越性能，基于指数族的 PAC-Bayesian 上界对一般的、可能无界的损失函数提供了可行性，我们通过将学习过程转化为一维最小化问题并研究全局最小值的可能性，提供了一个具体算法实现和学习优化的新方法，并进行了四个实际相关的实验来支持我们的理论，展示出该学习框架使得优化算法的性能有了数个数量级的改进。

    Apr, 2024

  • 对无界损失的 PAC-Bayes-Chernoff 界限

    我们提出了一个新的高概率 PAC-Bayes 预言界，用于无界损失。该结果可以理解为 Chernoff 界的 PAC-Bayes 版本。证明技巧依赖于基于损失的 Cramé 变换来统一地对某些随机变量的尾部进行界定。我们强调了我们主要结果的两个应用。首先，我们展示了我们的界解决了许多 PAC-Bayes 界上优化自由参数的开放问题。最后，我们展示了我们的方法允许在损失函数上进行灵活的假设，从而得到泛化之前界的新界，并且可以最小化以获取类似于 Gibbs 的后验概率。

    Jan, 2024

  • 论 PAC Bayesian 定理

    本文证明了平均值的指数矩不等式，并利用它们来加强 PAC Bayesian 定理，使得 PAC Bayesian 边界中计数的对数项减半。

    Nov, 2004

  • 一个带有 Dropout 界限的 PAC-Bayesian 教程

    这篇论文简要介绍了现有的 PAC-Bayesian 理论，重点关注三种泛化界限及其应用，可以有效地处理规则参数及提供训练保障。

    Jul, 2013

  • 利用 PAC-Bayes 理论和 Gibbs 分布进行具有复杂度度量的泛化界限

    该研究利用分解的 PAC-Bayes 边界框架得出一个可适配任意复杂度度量的一般泛化边界，其中关键步骤是考虑一系列常用的分布：Gibbs 分布。该边界在概率上同时适用于假设和学习样本，允许复杂度根据泛化差距进行调整，以适应假设类和任务。

    Feb, 2024

  • 基于 Wasserstein 的高概率泛化界学习

    本文介绍了基于 Wasserstein 距离的 PAC-Bayesian 泛化边界，并从分别适用于批量学习与独立同分布数据和在线学习的角度进行了证明，并获得了用于 SRM 的可优化培训目标。

    Jun, 2023

  • 基于随机集的 PAC-Bayesian 理论对数据依赖假设集的统一泛化界限

    我们从 PAC-Bayesian 的角度提出了数据相关的均匀泛化界，通过将训练算法输出的数据相关假设集应用于随机集的严格方法，我们证明了数据相关的界，适用于多种情境，并将此方法应用于基于分形维度的泛化界和连续 Langevin 动力学以及随机梯度 Langevin 动力学的轨迹上，这些结果为噪声算法的泛化特性提供了新的信息。

    Apr, 2024

  • 递归 PAC-Bayes：一种在没有信息损失的情况下对顺序先验进行频率论更新的方法

    PAC-Bayesian analysis allows sequential prior updates with no information loss and has significant improvements in empirical evaluation.

    May, 2024