本文通过变分逼近 Gibbs posterior 的优化分布，从而实现和原始 PAC-Bayesian 程序同样的收敛速度，以替代通常过慢的 Markov chain Monte Carlo 方法，在多个学习任务中（分类、排名、矩阵完成）取得了良好结果。

Jun, 2015

本文研究了使用新颖且优于 KL 散度的 PAC-Bayes 边界，以及这种边界在估计均值时的集中不等式问题，对比了以往 KL 散度为基础的边界，并探讨了最佳 PAC-Bayes 边界速率的可能性。

Feb, 2024

该研究利用分解的 PAC-Bayes 边界框架得出一个可适配任意复杂度度量的一般泛化边界，其中关键步骤是考虑一系列常用的分布：Gibbs 分布。该边界在概率上同时适用于假设和学习样本，允许复杂度根据泛化差距进行调整，以适应假设类和任务。

Feb, 2024

通过使用 (f,Γ) 差异得出新的 PAC-Bayes 广义边界，本文还提供了一系列概率差异 (包括但不限于 KL、Wasserstein 和总变差) 的 PAC-Bayes 广义边界，在后验分布性质不同的情况下选择最佳解，我们探索了这些边界的紧密程度并与统计学习的之前结果联系起来，这也是特定情况。此外，我们将这些边界作为训练目标实例化，提供非平凡的保证和实际性能。

Feb, 2024

我们提出了一个新的高概率 PAC-Bayes 预言界，用于无界损失。该结果可以理解为 Chernoff 界的 PAC-Bayes 版本。证明技巧依赖于基于损失的 Cramé 变换来统一地对某些随机变量的尾部进行界定。我们强调了我们主要结果的两个应用。首先，我们展示了我们的界解决了许多 PAC-Bayes 界上优化自由参数的开放问题。最后，我们展示了我们的方法允许在损失函数上进行灵活的假设，从而得到泛化之前界的新界，并且可以最小化以获取类似于 Gibbs 的后验概率。

Jan, 2024

该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法，同时研究了使用数据相关先验分布的应用，包括针对无界方差的损失函数的一种新颖的边界推导方法。

Jun, 2020

提出了一种新的 PAC-Bayesian 界并构建了假设空间，使界在后验分布上是凸的，在经验性能与复杂性之间的折衷参数上也是凸的。通过 KL 散度来测量复杂性。提出了一种交替过程来最小化这个界，并给出了一个足够的条件，使得函数具有单一的全局最小值。提供实验结果表明，严格最小化该界在调整复杂性和经验性能之间的权衡方面与交叉验证相媲美。在所有实验中，即使违反了足够的条件，折衷结果仍然是凸的。

Aug, 2016

本文研究 PAC-Bayes 边界中的先验和后验之间的 KL 散度，在线性 PAC-Bayes 风险边界中，通过选择期望后验作为先验，可以最小化边界的期望值。本文显示基于 oracle prior 的界限可能是次优的：在某些情况下，使用数据依赖的 oracle prior 可以得到更强的界限，而将 oracle prior 设为条件期望。该文章还应用该新原则在非凸学习中，并在 MNIST 和 Fashion MNIST 中模拟数据依赖的 oracle prior，展示了两种情况下的新的非虚位界限。

Jun, 2020

本文提出了一种新的方法，基于 Wasserstein 距离的估计误差进行控制，然后通过广义 Fisher 距离限制 Wasserstein 距离。我们使用这种方法为 Laplace 近似和 Hilbert coresets 推导 Wasserstein 误差上限，并期望这种方法也适用于其他近似推理方法，例如综合 Laplace 近似、变分推理和近似贝叶斯计算。

Sep, 2018

通过计算关键批次的接受概率，我们展示了在一些应用中通过简单的修正可以避免随机 Metropolis-Hastings 步骤降低有效样本量的障碍。我们在非参数回归背景下运用修正的随机 Metropolis-Hastings 方法，研究了链的稳定分布的统计性质，并通过证明 PAC-Bayes 学习器不等式来获得最优收缩速率，分析了置信集的直径和高覆盖概率。通过高维参数空间中的数值例子，我们展示了随机 Metropolis-Hastings 算法得到的置信集和收缩速率与经典的 Metropolis-adjusted Langevin 算法结果的相似性。

Oct, 2023