PAC$^m$-Bayes：缩小误差贝叶斯模型的经验风险差距
这篇论文简要介绍了现有的PAC-Bayesian理论，重点关注三种泛化界限及其应用，可以有效地处理规则参数及提供训练保障。
Jul, 2013
展示了贝叶斯边际似然和频率PAC-Bayesian风险边界之间的联系；在最小化PAC-Bayesian广义化风险上推导了最大化贝叶斯边际似然；针对未约束损失函数提出了适用于亚伽马损失函数族的PAC-Bayesian定理，并在贝叶斯线性回归任务中表明其方法的有效性。
May, 2016
本文研究PAC-Bayes边界中的先验和后验之间的KL散度，在线性PAC-Bayes风险边界中，通过选择期望后验作为先验，可以最小化边界的期望值。本文显示基于oracle prior的界限可能是次优的：在某些情况下，使用数据依赖的oracle prior可以得到更强的界限，而将oracle prior设为条件期望。该文章还应用该新原则在非凸学习中，并在MNIST和Fashion MNIST中模拟数据依赖的oracle prior，展示了两种情况下的新的非虚位界限。
Jun, 2020
该研究探讨了基于数据相关分布的随机预测模型在训练后的泛化能力以及基于 PAC-Bayes 分析的上界推导方法，同时研究了使用数据相关先验分布的应用，包括针对无界方差的损失函数的一种新颖的边界推导方法。
Jun, 2020
本文探讨了基于生成模型下贝叶斯学习的最佳性能，并通过定义和上界最小超额风险（MER）来说明不同不确定性的概念，包括 aleatoric 不确定性和最小认知不确定性。
Dec, 2020
通过PAC-Bayes泛化界限的视角研究了冷后效应，发现在非渐进情况下，当训练样本数量相对较少时，应该考虑到近似贝叶斯推断对超样本数据性能的保证，并指出对于回归和分类任务，利用PAC-Bayes解释温度参数可以解释冷后效应。
Jun, 2022
本文介绍了基于Wasserstein距离的PAC-Bayesian泛化边界，并从分别适用于批量学习与独立同分布数据和在线学习的角度进行了证明，并获得了用于SRM的可优化培训目标。
Jun, 2023
该论文通过对MNIST数据集进行实验，研究了PAC-Bayes参数约束为分解高斯分布时在优化PAC-Bayes界限时可能损失的紧密度，结果表明在某些情况下存在5-6%的显著紧密度差距。
Oct, 2023
前向论合理化了模型的泛化错误上界，为学习提供了健壮的PAC-Bayes边界。然而，已知损失的最小化会忽略错误规范化，在此情况下模型无法完全复现观测结果。我们分析了近确定、错误规范化和欠参数化替代模型的泛化错误，这是科学和工程中广泛相关的一种情况。我们证明了后验分布必须覆盖每个训练点以避免泛化错误的发散，并导出了一种满足此约束条件的集合假设，对线性模型而言额外开销最小。这种高效方法在模型问题上得到了证明，并应用于原子尺度机器学习中的高维数据集，由错误规范化导致的参数不确定性在欠参数化极限中仍然存在，从而可以准确预测和限定测试误差的上限。
Feb, 2024
PAC-Bayesian analysis allows sequential prior updates with no information loss and has significant improvements in empirical evaluation.
May, 2024