Jun, 2020

数据在PAC-Bayes边界中的作用

HTML
PDF
TL;DR本文研究PAC-Bayes边界中的先验和后验之间的KL散度，在线性PAC-Bayes风险边界中，通过选择期望后验作为先验，可以最小化边界的期望值。本文显示基于oracle prior的界限可能是次优的：在某些情况下，使用数据依赖的oracle prior可以得到更强的界限，而将oracle prior设为条件期望。该文章还应用该新原则在非凸学习中，并在MNIST和Fashion MNIST中模拟数据依赖的oracle prior，展示了两种情况下的新的非虚位界限。
发现论文，激发创造
  • 监督学习中贝叶斯风险的速率失真界限

    本文提出了一个信息理论框架，用于评估在参数化贝叶斯设置下训练分类器所需的标记样本数量，并使用$L_p$距离导出分类器和真实后验概率分类器之间的平均距离的上下界，并利用$ L_p $丢失作为畸变度量，以后验分布的微分熵和插值维度的数量为最大先验分类器提供了下界和上界，这表征了参数分布族的复杂性，同时提供了计算贝叶斯$L_p$风险的下界，是可能近似正确（PAC）框架的补充，该框架提供了涉及Vapnik-Chervonenkis维度或Rademacher复杂性的最小极大风险界，而所提出的速率-失真框架则为数据分布平均的风险提供了下界。

    May, 2016

  • PAC-Bayesian理论应用于贝叶斯推理

    展示了贝叶斯边际似然和频率PAC-Bayesian风险边界之间的联系；在最小化PAC-Bayesian广义化风险上推导了最大化贝叶斯边际似然；针对未约束损失函数提出了适用于亚伽马损失函数族的PAC-Bayesian定理，并在贝叶斯线性回归任务中表明其方法的有效性。

    May, 2016

  • Entropy-SGD 优化 PAC-Bayes 绑定先验：Entropy-SGD 和数据相关先验的泛化性质

    该论文表明，熵-SGD可以优化关于Gibbs分类器风险的PAC-Bayes界限，证明获得的数据相关先验概率由SGLD提供，并保持相对紧密的泛化界限。

    Dec, 2017

  • PAC-Bayes分析超越平常的边界

    该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法，同时研究了使用数据相关先验分布的应用，包括针对无界方差的损失函数的一种新颖的边界推导方法。

    Jun, 2020

  • 神经网络的更严格风险证明

    本文基于PAC-Bayes边界提出了两种新的训练目标用于训练概率神经网络，并使用数据证明了这些方法能够帮助模型精确bounding risk，从而具有自证明学习的应用前景。

    Jul, 2020

  • 更多PAC-Bayes界：从有界损失到具有一般剪尾行为的损失，到任何时候都有效

    该论文提出了一种新的高概率PAC-Bayes界限，其中涉及到了带界范围和更一般尾部行为的损失，并提出了一些新的基于参数和基于事件的界限技术，可以得到更紧密和可解释的结果，并将结果扩展到任何现有范围上

    Jun, 2023

  • 用哈密尔顿蒙特卡洛估计最优的PAC-Bayes界限

    该论文通过对MNIST数据集进行实验，研究了PAC-Bayes参数约束为分解高斯分布时在优化PAC-Bayes界限时可能损失的紧密度，结果表明在某些情况下存在5-6%的显著紧密度差距。

    Oct, 2023

  • 对无界损失的 PAC-Bayes-Chernoff 界限

    我们提出了一个新的高概率PAC-Bayes预言界，用于无界损失。该结果可以理解为Chernoff界的PAC-Bayes版本。证明技巧依赖于基于损失的Cramé变换来统一地对某些随机变量的尾部进行界定。我们强调了我们主要结果的两个应用。首先，我们展示了我们的界解决了许多PAC-Bayes界上优化自由参数的开放问题。最后，我们展示了我们的方法允许在损失函数上进行灵活的假设，从而得到泛化之前界的新界，并且可以最小化以获取类似于Gibbs的后验概率。

    Jan, 2024

  • 通过插值获得更严格的泛化界限

    通过使用(f,Γ)差异得出新的PAC-Bayes广义边界，本文还提供了一系列概率差异(包括但不限于KL、Wasserstein和总变差)的PAC-Bayes广义边界，在后验分布性质不同的情况下选择最佳解，我们探索了这些边界的紧密程度并与统计学习的之前结果联系起来，这也是特定情况。此外，我们将这些边界作为训练目标实例化，提供非平凡的保证和实际性能。

    Feb, 2024

  • 递归PAC-Bayes：一种在没有信息损失的情况下对顺序先验进行频率论更新的方法

    PAC-Bayesian analysis allows sequential prior updates with no information loss and has significant improvements in empirical evaluation.

    May, 2024