冷后验分布与随机不确定性

Jul, 2020

Cold Posteriors and Aleatoric Uncertainty

Ben Adlam, Jasper Snoek, Samuel L. Smith

TL;DR本文探讨了后验温度的调整在贝叶斯神经网络中的作用以及先验的影响，研究发现，在高质量的分类数据集如 MNIST 或 CIFAR 中，经常使用的先验能够显著地高估标签的不确定性。研究在高斯过程回归中发现，任何正数的温度都对应于一个经过修改的先验下的有效后验，而调整后验温度直接类比于经验贝叶斯。当应用于分类任务时，调整先验并不直接等同于调整后验温度，但是降低后验温度可以得到更好地反映新增训练样本信息的模型。因此，虽然冷后验并不总是对应于精确的推理过程，但我们认为，它们可能更好地反映了我们真实的先验信念。

Abstract

Recent work has observed that one can outperform exact inference in Bayesian neural networks by tuning the "temperature" of the posterior on a validation set (the "cold posterior" effect). To help interpret this phenomenon, we argue that commonly used priors in bayesian neural networks

bayesian neural networks cold posterior effect aleatoric uncertainty gaussian process regression empirical bayes

发现论文，激发创造

深度神经网络中冷后验的统计理论

本文讨论贝叶斯神经网络在图片分类上的应用，发现此类应用使用的是错误的似然度。作者开发了一个描述 “筛选” 过程的生成模型，并与之前使用的调整后的后验概率似然度进行了基于贝叶斯思想的对比。

Aug, 2020

自信的先验是否可以取代冷漠的后验？

图像分类中使用的基准数据集往往具有非常低的标签噪声。当贝叶斯神经网络在这些数据集上进行训练时，它们往往会欠拟合，错误地表示数据的不确定性。一种常见的解决方法是通过冷却后验，这提高了对训练数据的拟合，但从贝叶斯的角度来解释具有挑战性。我们探讨了是否可以通过具有信心诱导的先验分布来替代后验调温。首先，我们介绍了一种实际可采样且几乎与冷后验性能相匹配的 “DirClip” 先验。其次，我们介绍了一种直接在温度趋近于零时近似冷似然函数但难以采样的 “信心先验”。最后，我们提供了关于信心诱导先验的几个一般性见解，例如它们何时可能发散以及如何通过微调来减轻数值不稳定性。

Mar, 2024

PAC-Bayes 下的冷后验分析

通过 PAC-Bayes 泛化界限的视角研究了冷后效应，发现在非渐进情况下，当训练样本数量相对较少时，应该考虑到近似贝叶斯推断对超样本数据性能的保证，并指出对于回归和分类任务，利用 PAC-Bayes 解释温度参数可以解释冷后效应。

Jun, 2022

关于贝叶斯分类中的不确定性、调和和数据增强

本研究表明，显式地考虑 aleatoric uncertainty 可显著改善贝叶斯神经网络的性能，其中使用 Dirichlet observation model 可以匹配或超过 posterior tempering 的性能，无需 tempering。

Mar, 2022

深度神经网络中的贝叶斯后验到底有多好？

本文研究贝叶斯神经网络中后验概率的真实性及精度，通过 MCMC 抽样实验发现使用贝叶斯后验的预测性能显著不如基于 SGD 的点估计方法，并提出了一种 “冷后验” 的新方法，解释其使用背景及理论基础。本工作挑战了贝叶斯深度学习中关于精度估算的目标，提出从理解和探究 “冷后验” 方法优化神经网络性能入手。

Feb, 2020

钢化后座椅的细节

我们对调和后验进行了详细研究，揭示了许多关键但以前未讨论过的问题。与以往结果相反，我们首先证明，在逼真的模型和数据集以及对后验的紧密控制情况下，随机性一般情况下不会提高测试准确性。最低温度通常是最优的。人们可能认为，带有某些随机性的贝叶斯模型至少可以在校准方面获得改进。然而，我们通过实证研究表明，当获得增益时，这是以降低测试准确性的代价为代价的。然后，我们讨论了使用贝叶斯模型来定位频率主义指标的需求的最优温度参数 λ 的优化目标的一个简单解释。与之前的作品相反，最后我们通过 PAC-Bayesian 分析表明，温度参数 λ 不能简单地被视为修正了先验或似然的错误设置。

Sep, 2023

如果没有欠拟合，就没有冷后验效应

贝叶斯深度学习中的冷后验效应表明，在温度 $ T <1 $ 的后验中，预测效果可能比贝叶斯后验 ($ T = 1 $) 要好。本研究更深入地阐述了冷后验效应，揭示只有当贝叶斯后验出现欠拟合情况时，才会出现冷后验效应。事实上，理论上证明了如果没有欠拟合，就不会有冷后验效应。

Oct, 2023

后验退火：回归问题的快速校准不确定性

本研究提出了一种名为后验退火的快速校准不确定性估计方法，适用于多种深度回归模型和任务，并在各种网络结构和不同领域的任务上进行了实证分析。

Feb, 2023

贝叶斯图神经网络在一致预测中的温度

基于构建有效的置信区间的比例估计后验概率分布的缩放参数的最新研究成果，我们的研究探讨了将温度参数纳入基于 CP 框架的贝叶斯 GNN 中的优势，并通过实验证明了导致更高效的预测集的温度存在，同时分析了导致非效率的因素，并提供了有关 CP 性能和模型校准之间关系的有价值见解。

Oct, 2023

解开筛选，数据增强和先验在冷后验效应中的作用

研究表明 Bayesian 深度学习中的冷链效应是一个多因素的问题，直接利用温度参数、数据增强或先验偏差可能并不能解决该问题。

Jun, 2021