通过使用 (f,Γ) 差异得出新的 PAC-Bayes 广义边界，本文还提供了一系列概率差异 (包括但不限于 KL、Wasserstein 和总变差) 的 PAC-Bayes 广义边界，在后验分布性质不同的情况下选择最佳解，我们探索了这些边界的紧密程度并与统计学习的之前结果联系起来，这也是特定情况。此外，我们将这些边界作为训练目标实例化，提供非平凡的保证和实际性能。

Feb, 2024

该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法，同时研究了使用数据相关先验分布的应用，包括针对无界方差的损失函数的一种新颖的边界推导方法。

Jun, 2020

本文研究了具有依赖性和重尾观察值的 PAC-Bayesian 学习界限。在这些界限中，Kullack-Leibler 差异被取代了，并使用了 Csiszár 的 f - 差异的一般版本。我们证明了一个通用的 PAC-Bayesian 界限，并展示了如何在各种恶劣的环境中使用它。

Oct, 2016

本文介绍了基于 Wasserstein 距离的 PAC-Bayesian 泛化边界，并从分别适用于批量学习与独立同分布数据和在线学习的角度进行了证明，并获得了用于 SRM 的可优化培训目标。

Jun, 2023

该论文通过对 MNIST 数据集进行实验，研究了 PAC-Bayes 参数约束为分解高斯分布时在优化 PAC-Bayes 界限时可能损失的紧密度，结果表明在某些情况下存在 5-6% 的显著紧密度差距。

Oct, 2023

本文研究 PAC-Bayes 边界中的先验和后验之间的 KL 散度，在线性 PAC-Bayes 风险边界中，通过选择期望后验作为先验，可以最小化边界的期望值。本文显示基于 oracle prior 的界限可能是次优的：在某些情况下，使用数据依赖的 oracle prior 可以得到更强的界限，而将 oracle prior 设为条件期望。该文章还应用该新原则在非凸学习中，并在 MNIST 和 Fashion MNIST 中模拟数据依赖的 oracle prior，展示了两种情况下的新的非虚位界限。

Jun, 2020

该研究利用分解的 PAC-Bayes 边界框架得出一个可适配任意复杂度度量的一般泛化边界，其中关键步骤是考虑一系列常用的分布：Gibbs 分布。该边界在概率上同时适用于假设和学习样本，允许复杂度根据泛化差距进行调整，以适应假设类和任务。

Feb, 2024

提出了一种新的 PAC-Bayesian 界并构建了假设空间，使界在后验分布上是凸的，在经验性能与复杂性之间的折衷参数上也是凸的。通过 KL 散度来测量复杂性。提出了一种交替过程来最小化这个界，并给出了一个足够的条件，使得函数具有单一的全局最小值。提供实验结果表明，严格最小化该界在调整复杂性和经验性能之间的权衡方面与交叉验证相媲美。在所有实验中，即使违反了足够的条件，折衷结果仍然是凸的。

Aug, 2016

该论文提出了一种新的高概率 PAC-Bayes 界限，其中涉及到了带界范围和更一般尾部行为的损失，并提出了一些新的基于参数和基于事件的界限技术，可以得到更紧密和可解释的结果，并将结果扩展到任何现有范围上

Jun, 2023

该研究提出了一组高概率不等式，控制了多个（可能是无限多个）同时演化和相互依赖的鞅的加权平均值的集中度，从而将学习理论中的 PAC-Bayesian 分析从独立同分布的设定扩展到了鞅，开拓了其在重要性加权抽样、强化学习和其他交互式学习领域中的应用。其中，鞅是在概率论和统计学中经常遇到的。此外，文章还提出了一个比较不等式，用于限制鞅差分序列的一个凸函数的期望值。该不等式运用于得出更紧密版本的 Hoeffding-Azuma 不等式。

Oct, 2011