一种强凸 PAC-Bayesian 界限

Aug, 2016

A Strongly Quasiconvex PAC-Bayesian Bound

Niklas Thiemann, Christian Igel, Olivier Wintenberger, Yevgeny Seldin

TL;DR提出了一种新的 PAC-Bayesian 界并构建了假设空间，使界在后验分布上是凸的，在经验性能与复杂性之间的折衷参数上也是凸的。通过 KL 散度来测量复杂性。提出了一种交替过程来最小化这个界，并给出了一个足够的条件，使得函数具有单一的全局最小值。提供实验结果表明，严格最小化该界在调整复杂性和经验性能之间的权衡方面与交叉验证相媲美。在所有实验中，即使违反了足够的条件，折衷结果仍然是凸的。

Abstract

We propose a new pac-bayesian bound and a way of constructing a hypothesis space, so that the bound is convex in the posterior distribution and also convex in a trade-off parameter between empirical performance o

pac-bayesian bound hypothesis space kullback-leibler divergence empirical performance complexity

发现论文，激发创造

PAC-Bayesian 理论应用于贝叶斯推理

展示了贝叶斯边际似然和频率 PAC-Bayesian 风险边界之间的联系；在最小化 PAC-Bayesian 广义化风险上推导了最大化贝叶斯边际似然；针对未约束损失函数提出了适用于亚伽马损失函数族的 PAC-Bayesian 定理，并在贝叶斯线性回归任务中表明其方法的有效性。

May, 2016

优于 KL 的 PAC-Bayes 界

本文研究了使用新颖且优于 KL 散度的 PAC-Bayes 边界，以及这种边界在估计均值时的集中不等式问题，对比了以往 KL 散度为基础的边界，并探讨了最佳 PAC-Bayes 边界速率的可能性。

Feb, 2024

用哈密尔顿蒙特卡洛估计最优的 PAC-Bayes 界限

该论文通过对 MNIST 数据集进行实验，研究了 PAC-Bayes 参数约束为分解高斯分布时在优化 PAC-Bayes 界限时可能损失的紧密度，结果表明在某些情况下存在 5-6% 的显著紧密度差距。

Oct, 2023

利用 PAC-Bayes 理论和 Gibbs 分布进行具有复杂度度量的泛化界限

该研究利用分解的 PAC-Bayes 边界框架得出一个可适配任意复杂度度量的一般泛化边界，其中关键步骤是考虑一系列常用的分布：Gibbs 分布。该边界在概率上同时适用于假设和学习样本，允许复杂度根据泛化差距进行调整，以适应假设类和任务。

Feb, 2024

具有 PAC-Bayesian 保证的学习优化：理论考虑和实践实现

用 PAC-Bayesian 理论为学习优化问题提供了第一个具备可证估计以及收敛保证和收敛速度权衡的框架，学习出的优化算法在比起仅从最坏情况分析得出的算法上具备可证的优越性能，基于指数族的 PAC-Bayesian 上界对一般的、可能无界的损失函数提供了可行性，我们通过将学习过程转化为一维最小化问题并研究全局最小值的可能性，提供了一个具体算法实现和学习优化的新方法，并进行了四个实际相关的实验来支持我们的理论，展示出该学习框架使得优化算法的性能有了数个数量级的改进。

Apr, 2024

非均匀收敛下的最优 PAC 上界

本研究提出一种新的框架，超越了传统统一收敛方法的限制，将排列不变预测器的交叉检验误差转化为高概率风险界，并通过 Haussler, Littlestone, 和 Warmuth 的一种算法在二元分类中实现了最优 PAC 界限。在多类分类、部分假设分类和实现有限的回归等三种不同场合中，我们证明了该框架的优越性能。

Apr, 2023

数据在 PAC-Bayes 边界中的作用

本文研究 PAC-Bayes 边界中的先验和后验之间的 KL 散度，在线性 PAC-Bayes 风险边界中，通过选择期望后验作为先验，可以最小化边界的期望值。本文显示基于 oracle prior 的界限可能是次优的：在某些情况下，使用数据依赖的 oracle prior 可以得到更强的界限，而将 oracle prior 设为条件期望。该文章还应用该新原则在非凸学习中，并在 MNIST 和 Fashion MNIST 中模拟数据依赖的 oracle prior，展示了两种情况下的新的非虚位界限。

Jun, 2020

PAC$^m$-Bayes：缩小误差贝叶斯模型的经验风险差距

本研究提出了一种多样本损失方法用以改进贝叶斯后验预测分布的泛化性能，该方法不仅具有计算优势还提供了 PAC 泛化保证，实证研究显示该方法可以有效改善预测分布。

Oct, 2020

通过直接 PAC-Bayes 界最小化来改善鲁棒泛化

本文研究了鲁棒优化中的过拟合现象，提出了一种不同形式的鲁棒 PAC-Bayesian 边界并通过迹（TrH）正则化器将 PAC-Bayesian 学习与鲁棒损失面的几何形状连接，实验结果证明了该方法能够提高视觉变换器的鲁棒性且计算成本低。

Nov, 2022

对无界损失的 PAC-Bayes-Chernoff 界限

我们提出了一个新的高概率 PAC-Bayes 预言界，用于无界损失。该结果可以理解为 Chernoff 界的 PAC-Bayes 版本。证明技巧依赖于基于损失的 Cramé 变换来统一地对某些随机变量的尾部进行界定。我们强调了我们主要结果的两个应用。首先，我们展示了我们的界解决了许多 PAC-Bayes 界上优化自由参数的开放问题。最后，我们展示了我们的方法允许在损失函数上进行灵活的假设，从而得到泛化之前界的新界，并且可以最小化以获取类似于 Gibbs 的后验概率。

Jan, 2024