Jun, 2020

数据在 PAC-Bayes 边界中的作用

PDF
TL;DR本文研究 PAC-Bayes 边界中的先验和后验之间的 KL 散度，在线性 PAC-Bayes 风险边界中，通过选择期望后验作为先验，可以最小化边界的期望值。本文显示基于 oracle prior 的界限可能是次优的：在某些情况下，使用数据依赖的 oracle prior 可以得到更强的界限，而将 oracle prior 设为条件期望。该文章还应用该新原则在非凸学习中，并在 MNIST 和 Fashion MNIST 中模拟数据依赖的 oracle prior，展示了两种情况下的新的非虚位界限。
pac-bayes boundskullback--leibler divergencelinear pac-bayes risk boundsoracle priordata-dependent oracle prior
发现论文，激发创造
  • PAC-Bayes 分析超越平常的边界

    该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法，同时研究了使用数据相关先验分布的应用，包括针对无界方差的损失函数的一种新颖的边界推导方法。

    Jun, 2020

  • 敌对数据的简化 PAC-Bayesian 界限

    本文研究了具有依赖性和重尾观察值的 PAC-Bayesian 学习界限。在这些界限中，Kullack-Leibler 差异被取代了，并使用了 Csiszár 的 f - 差异的一般版本。我们证明了一个通用的 PAC-Bayesian 界限，并展示了如何在各种恶劣的环境中使用它。

    Oct, 2016

  • 优于 KL 的 PAC-Bayes 界

    本文研究了使用新颖且优于 KL 散度的 PAC-Bayes 边界，以及这种边界在估计均值时的集中不等式问题，对比了以往 KL 散度为基础的边界，并探讨了最佳 PAC-Bayes 边界速率的可能性。

    Feb, 2024

  • 一种强凸 PAC-Bayesian 界限

    提出了一种新的 PAC-Bayesian 界并构建了假设空间，使界在后验分布上是凸的，在经验性能与复杂性之间的折衷参数上也是凸的。通过 KL 散度来测量复杂性。提出了一种交替过程来最小化这个界，并给出了一个足够的条件，使得函数具有单一的全局最小值。提供实验结果表明，严格最小化该界在调整复杂性和经验性能之间的权衡方面与交叉验证相媲美。在所有实验中，即使违反了足够的条件，折衷结果仍然是凸的。

    Aug, 2016

  • 用哈密尔顿蒙特卡洛估计最优的 PAC-Bayes 界限

    该论文通过对 MNIST 数据集进行实验，研究了 PAC-Bayes 参数约束为分解高斯分布时在优化 PAC-Bayes 界限时可能损失的紧密度，结果表明在某些情况下存在 5-6% 的显著紧密度差距。

    Oct, 2023

  • 一个带有 Dropout 界限的 PAC-Bayesian 教程

    这篇论文简要介绍了现有的 PAC-Bayesian 理论，重点关注三种泛化界限及其应用，可以有效地处理规则参数及提供训练保障。

    Jul, 2013

  • 基于 Wasserstein 的高概率泛化界学习

    本文介绍了基于 Wasserstein 距离的 PAC-Bayesian 泛化边界，并从分别适用于批量学习与独立同分布数据和在线学习的角度进行了证明，并获得了用于 SRM 的可优化培训目标。

    Jun, 2023

  • PAC-Bayesian 理论应用于贝叶斯推理

    展示了贝叶斯边际似然和频率 PAC-Bayesian 风险边界之间的联系；在最小化 PAC-Bayesian 广义化风险上推导了最大化贝叶斯边际似然；针对未约束损失函数提出了适用于亚伽马损失函数族的 PAC-Bayesian 定理，并在贝叶斯线性回归任务中表明其方法的有效性。

    May, 2016

  • PAC$^m$-Bayes：缩小误差贝叶斯模型的经验风险差距

    本研究提出了一种多样本损失方法用以改进贝叶斯后验预测分布的泛化性能，该方法不仅具有计算优势还提供了 PAC 泛化保证，实证研究显示该方法可以有效改善预测分布。

    Oct, 2020

  • 监督学习中贝叶斯风险的速率失真界限

    本文提出了一个信息理论框架，用于评估在参数化贝叶斯设置下训练分类器所需的标记样本数量，并使用 $L_p$ 距离导出分类器和真实后验概率分类器之间的平均距离的上下界，并利用 $ L_p $ 丢失作为畸变度量，以后验分布的微分熵和插值维度的数量为最大先验分类器提供了下界和上界，这表征了参数分布族的复杂性，同时提供了计算贝叶斯 $L_p$ 风险的下界，是可能近似正确（PAC）框架的补充，该框架提供了涉及 Vapnik-Chervonenkis 维度或 Rademacher 复杂性的最小极大风险界，而所提出的速率 - 失真框架则为数据分布平均的风险提供了下界。

    May, 2016