PAC-Bayes 下的冷后验分析
本文探讨了后验温度的调整在贝叶斯神经网络中的作用以及先验的影响，研究发现，在高质量的分类数据集如 MNIST 或 CIFAR 中，经常使用的先验能够显著地高估标签的不确定性。研究在高斯过程回归中发现，任何正数的温度都对应于一个经过修改的先验下的有效后验，而调整后验温度直接类比于经验贝叶斯。当应用于分类任务时，调整先验并不直接等同于调整后验温度，但是降低后验温度可以得到更好地反映新增训练样本信息的模型。因此，虽然冷后验并不总是对应于精确的推理过程，但我们认为，它们可能更好地反映了我们真实的先验信念。
Jul, 2020
我们对调和后验进行了详细研究，揭示了许多关键但以前未讨论过的问题。与以往结果相反，我们首先证明，在逼真的模型和数据集以及对后验的紧密控制情况下，随机性一般情况下不会提高测试准确性。最低温度通常是最优的。人们可能认为，带有某些随机性的贝叶斯模型至少可以在校准方面获得改进。然而，我们通过实证研究表明，当获得增益时，这是以降低测试准确性的代价为代价的。然后，我们讨论了使用贝叶斯模型来定位频率主义指标的需求的最优温度参数 λ 的优化目标的一个简单解释。与之前的作品相反，最后我们通过 PAC-Bayesian 分析表明，温度参数 λ 不能简单地被视为修正了先验或似然的错误设置。
Sep, 2023
贝叶斯深度学习中的冷后验效应表明，在温度 $ T <1 $ 的后验中，预测效果可能比贝叶斯后验 ($ T = 1 $) 要好。本研究更深入地阐述了冷后验效应，揭示只有当贝叶斯后验出现欠拟合情况时，才会出现冷后验效应。事实上，理论上证明了如果没有欠拟合，就不会有冷后验效应。
Oct, 2023
本文通过变分逼近 Gibbs posterior 的优化分布，从而实现和原始 PAC-Bayesian 程序同样的收敛速度，以替代通常过慢的 Markov chain Monte Carlo 方法，在多个学习任务中（分类、排名、矩阵完成）取得了良好结果。
Jun, 2015
本文讨论贝叶斯神经网络在图片分类上的应用，发现此类应用使用的是错误的似然度。作者开发了一个描述 “筛选” 过程的生成模型，并与之前使用的调整后的后验概率似然度进行了基于贝叶斯思想的对比。
Aug, 2020
Bayesian 深度学习的不一致性引起了越来越多的关注，温度调节或广义后验分布通常提供了解决这个问题的直接有效方法。本研究引入了一个统一的理论框架，将 Bayesian 不一致性归因于模型规范不当和先验不足，提出了广义 Laplace 近似方法来获得高质量的后验分布。
May, 2024
图像分类中使用的基准数据集往往具有非常低的标签噪声。当贝叶斯神经网络在这些数据集上进行训练时，它们往往会欠拟合，错误地表示数据的不确定性。一种常见的解决方法是通过冷却后验，这提高了对训练数据的拟合，但从贝叶斯的角度来解释具有挑战性。我们探讨了是否可以通过具有信心诱导的先验分布来替代后验调温。首先，我们介绍了一种实际可采样且几乎与冷后验性能相匹配的 “DirClip” 先验。其次，我们介绍了一种直接在温度趋近于零时近似冷似然函数但难以采样的 “信心先验”。最后，我们提供了关于信心诱导先验的几个一般性见解，例如它们何时可能发散以及如何通过微调来减轻数值不稳定性。
Mar, 2024
本文利用统计力学与信息理论的工具，PACBayesian 方法，研究如何在后验概率度量集合上进行凸分析，使用相对熵度量分类模型复杂性和与 Gibbs 后验概率度量的关系等方法提高分类准确率和推广性，并说明了如何推广结果至迁移学习和支持向量机。
Dec, 2007
展示了贝叶斯边际似然和频率 PAC-Bayesian 风险边界之间的联系；在最小化 PAC-Bayesian 广义化风险上推导了最大化贝叶斯边际似然；针对未约束损失函数提出了适用于亚伽马损失函数族的 PAC-Bayesian 定理，并在贝叶斯线性回归任务中表明其方法的有效性。
May, 2016