本文探讨了后验温度的调整在贝叶斯神经网络中的作用以及先验的影响，研究发现，在高质量的分类数据集如 MNIST 或 CIFAR 中，经常使用的先验能够显著地高估标签的不确定性。研究在高斯过程回归中发现，任何正数的温度都对应于一个经过修改的先验下的有效后验，而调整后验温度直接类比于经验贝叶斯。当应用于分类任务时，调整先验并不直接等同于调整后验温度，但是降低后验温度可以得到更好地反映新增训练样本信息的模型。因此，虽然冷后验并不总是对应于精确的推理过程，但我们认为，它们可能更好地反映了我们真实的先验信念。

Jul, 2020

本文讨论贝叶斯神经网络在图片分类上的应用，发现此类应用使用的是错误的似然度。作者开发了一个描述 “筛选” 过程的生成模型，并与之前使用的调整后的后验概率似然度进行了基于贝叶斯思想的对比。

Aug, 2020

本文研究贝叶斯神经网络中后验概率的真实性及精度，通过 MCMC 抽样实验发现使用贝叶斯后验的预测性能显著不如基于 SGD 的点估计方法，并提出了一种 “冷后验” 的新方法，解释其使用背景及理论基础。本工作挑战了贝叶斯深度学习中关于精度估算的目标，提出从理解和探究 “冷后验” 方法优化神经网络性能入手。

Feb, 2020

本研究表明，显式地考虑 aleatoric uncertainty 可显著改善贝叶斯神经网络的性能，其中使用 Dirichlet observation model 可以匹配或超过 posterior tempering 的性能，无需 tempering。

Mar, 2022

我们对调和后验进行了详细研究，揭示了许多关键但以前未讨论过的问题。与以往结果相反，我们首先证明，在逼真的模型和数据集以及对后验的紧密控制情况下，随机性一般情况下不会提高测试准确性。最低温度通常是最优的。人们可能认为，带有某些随机性的贝叶斯模型至少可以在校准方面获得改进。然而，我们通过实证研究表明，当获得增益时，这是以降低测试准确性的代价为代价的。然后，我们讨论了使用贝叶斯模型来定位频率主义指标的需求的最优温度参数 λ 的优化目标的一个简单解释。与之前的作品相反，最后我们通过 PAC-Bayesian 分析表明，温度参数 λ 不能简单地被视为修正了先验或似然的错误设置。

Sep, 2023

通过 PAC-Bayes 泛化界限的视角研究了冷后效应，发现在非渐进情况下，当训练样本数量相对较少时，应该考虑到近似贝叶斯推断对超样本数据性能的保证，并指出对于回归和分类任务，利用 PAC-Bayes 解释温度参数可以解释冷后效应。

Jun, 2022

基于构建有效的置信区间的比例估计后验概率分布的缩放参数的最新研究成果，我们的研究探讨了将温度参数纳入基于 CP 框架的贝叶斯 GNN 中的优势，并通过实验证明了导致更高效的预测集的温度存在，同时分析了导致非效率的因素，并提供了有关 CP 性能和模型校准之间关系的有价值见解。

Oct, 2023

贝叶斯深度学习中的冷后验效应表明，在温度 $ T <1 $ 的后验中，预测效果可能比贝叶斯后验 ($ T = 1 $) 要好。本研究更深入地阐述了冷后验效应，揭示只有当贝叶斯后验出现欠拟合情况时，才会出现冷后验效应。事实上，理论上证明了如果没有欠拟合，就不会有冷后验效应。

Oct, 2023

研究表明 Bayesian 深度学习中的冷链效应是一个多因素的问题，直接利用温度参数、数据增强或先验偏差可能并不能解决该问题。

Jun, 2021

本研究提出了一种名为后验退火的快速校准不确定性估计方法，适用于多种深度回归模型和任务，并在各种网络结构和不同领域的任务上进行了实证分析。

Feb, 2023