Mar, 2024
自信的先验是否可以取代冷漠的后验?
Can a Confident Prior Replace a Cold Posterior?
TL;DR图像分类中使用的基准数据集往往具有非常低的标签噪声。当贝叶斯神经网络在这些数据集上进行训练时,它们往往会欠拟合,错误地表示数据的不确定性。一种常见的解决方法是通过冷却后验,这提高了对训练数据的拟合,但从贝叶斯的角度来解释具有挑战性。我们探讨了是否可以通过具有信心诱导的先验分布来替代后验调温。首先,我们介绍了一种实际可采样且几乎与冷后验性能相匹配的“DirClip”先验。其次,我们介绍了一种直接在温度趋近于零时近似冷似然函数但难以采样的“信心先验”。最后,我们提供了关于信心诱导先验的几个一般性见解,例如它们何时可能发散以及如何通过微调来减轻数值不稳定性。