BriefGPT.xyz
Mar, 2024
贝叶斯深度学习中的无Hessian Laplace
Hessian-Free Laplace in Bayesian Deep Learning
HTML
PDF
James McInerney, Nathan Kallus
TL;DR
在该研究中,我们提出了一种利用拉普拉斯近似的替代框架,通过使用后验的曲率和网络预测来估计方差,既避免了计算和翻转黑塞矩阵的步骤,又能够在预训练网络中高效地进行。实验证明,相比于精确和近似黑塞矩阵,该方法表现相当,并具有良好的不确定性覆盖范围。
Abstract
The
laplace approximation
(LA) of the Bayesian posterior is a Gaussian distribution centered at the maximum a posteriori estimate. Its appeal in
bayesian deep learning
stems from the ability to quantify uncertain
→