贝叶斯深度学习中的无Hessian Laplace
本文提出一种方法来训练拉普拉斯逼近神经网络中的不确定性，介绍了用于拉普拉斯逼近网络的不确定性单元，并通过不确定性感知目标来训练这些单元，以提高在不同不确定性量化任务中的性能表现。
Oct, 2020
本文介绍了一种叫做 Laplace approximation (LA) 的 Bayesian 神经网络逼近算法，该算法可以实现更好的不确定性估计和模型选择，并通过实验证明其在计算成本上具有优势。
Jun, 2021
本文提出了一种新的方法（L2M），通过使用Adagrad等优化器已经估算出来的梯度二次矩来构造Laplace近似，而不需要计算曲率矩阵。该方法不需要改变模型或优化器，可以通过几行代码实现，并且不需要引入任何新的超参数。我们希望该方法能为深度神经网络的不确定性估计开辟新的研究方向。
Jul, 2021
本文介绍了一种基于高斯混合模型后验的预测方法，通过对独立训练的深度神经网络的拉普拉斯近似加权求和，可以缓解深度神经网络对离群值的过于自信预测问题，并在标准不确定性量化基准测试中与最先进的基准进行了比较。
Nov, 2021
探究Bayesian深度学习中用于估计模型不确定性的线性化拉普拉斯方法，并评估其在模型选择方面的假设，并提出了针对现代深度学习更好的适应性建议。
Jun, 2022
本文重新推导了在线 Laplace 方法，表明它们针对一种在模型选择问题中纠正了模态的 Laplace 证据的变分界。在线 Laplace 方法以及其纠正模态的版本在近乎平稳点上实现最优解，通过应用于UCI回归数据集，优化关键参数并防止过拟合，优于传统的早期停止方法。
Jul, 2023
本研究评估了贝叶斯方法在深度学习中用于不确定性估计的方法，重点关注广泛应用的Laplace近似及其变体。我们的研究发现，传统的拟合Hessian矩阵的方法对于处理超出分布的检测效率产生了负面影响。我们提出了一种不同的观点，认为仅关注优化先验精度可以在超出分布检测中产生更准确的不确定性估计，并保持适度的校准度。此外，我们证明了这种特性与模型的训练阶段无关，而是与其内在性质相关。通过广泛的实验评估，我们证实了我们简化方法在超出分布领域中优于传统方法的优越性。
Dec, 2023
Bayesian深度学习的不一致性引起了越来越多的关注，温度调节或广义后验分布通常提供了解决这个问题的直接有效方法。本研究引入了一个统一的理论框架，将Bayesian不一致性归因于模型规范不当和先验不足，提出了广义Laplace近似方法来获得高质量的后验分布。
May, 2024
我们提出一种基于拉普拉斯近似和高斯过程先验的方法，通过直接在函数空间中施加先验来解决深度网络中整体性误差估计的问题，并通过矩阵自由线性代数的高度可扩展方法获得改进的结果。
Jul, 2024