混合拉普拉斯逼近以改善深度学习后验不确定性

Nov, 2021

混合拉普拉斯逼近以改善深度学习后验不确定性

Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in Deep Learning

Runa Eschenhagen, Erik Daxberger, Philipp Hennig, Agustinus Kristiadi

TL;DR本文介绍了一种基于高斯混合模型后验的预测方法，通过对独立训练的深度神经网络的拉普拉斯近似加权求和，可以缓解深度神经网络对离群值的过于自信预测问题，并在标准不确定性量化基准测试中与最先进的基准进行了比较。

Abstract

deep neural networks are prone to overconfident predictions on outliers. bayesian neural networks and deep ensembles have both been shown to mitigate this problem to some extent. In this work, we aim to combine t

deep neural networks bayesian neural networks gaussian mixture model laplace approximations uncertainty quantification

发现论文，激发创造

具有贝叶斯深度神经网络的分类快速预测不确定性

本文提出了使用 Dirichlet 近似来构建分类神经网络输出的分布，该近似比先构建权重的 Gaussian 分布再进行采样来得更省时，同时有利于计算不确定性和大规模数据集的应用，例如 ImageNet。

Mar, 2020

广义拉普拉斯近似

Bayesian 深度学习的不一致性引起了越来越多的关注，温度调节或广义后验分布通常提供了解决这个问题的直接有效方法。本研究引入了一个统一的理论框架，将 Bayesian 不一致性归因于模型规范不当和先验不足，提出了广义 Laplace 近似方法来获得高质量的后验分布。

May, 2024

揭示拉普拉斯近似用于不确定性估计的经验病理

本研究评估了贝叶斯方法在深度学习中用于不确定性估计的方法，重点关注广泛应用的 Laplace 近似及其变体。我们的研究发现，传统的拟合 Hessian 矩阵的方法对于处理超出分布的检测效率产生了负面影响。我们提出了一种不同的观点，认为仅关注优化先验精度可以在超出分布检测中产生更准确的不确定性估计，并保持适度的校准度。此外，我们证明了这种特性与模型的训练阶段无关，而是与其内在性质相关。通过广泛的实验评估，我们证实了我们简化方法在超出分布领域中优于传统方法的优越性。

Dec, 2023

Laplace 近似下的可学习不确定性

本文提出一种方法来训练拉普拉斯逼近神经网络中的不确定性，介绍了用于拉普拉斯逼近网络的不确定性单元，并通过不确定性感知目标来训练这些单元，以提高在不同不确定性量化任务中的性能表现。

Oct, 2020

高斯 - Softmax 积分的均场逼近及其在不确定性估计中的应用

本文提出了一种新的单模型方法，通过模擬高斯分布与神经网络的 softmax 输出的集成来解决深度神经网络输出预测中的不确定性问题，同时可以进行闭式近似推断。实验证明，该方法在标准不确定性估计任务中性能竞争力强，并且在超出分布检测方面优于许多基线方法。

Jun, 2020

深度学习时代的可扩展贝叶斯推断：从高斯过程到深度神经网络

本论文介绍了一种将大型神经网络装备上模型的不确定性的方法，并应用了这个方法在 ResNet-50 和深度图像先验网络上进行了实验。

Apr, 2024

基于子网络推断的贝叶斯深度学习

本文介绍一种基于子网络推断框架和线性 Laplace 逼近的贝叶斯深度学习方法，用于提高深度神经网络的预测精度和有效性。在子网络中推断出如此表达力强大的后验逼近，该方法得以比全网络的后验逼近和 Ensembles 方法实现更好的效果。

Oct, 2020

神经网络中使用数据增强的后验不确定性量化

本文通过预测框架方法来解决深度学习中的不确定性量化问题，提出了一种更为真实的预测分布构建方法 MixupMP，在各种图像分类数据集上相对于现有的贝叶斯和非贝叶斯方法，MixupMP 实现了更优越的预测性能和不确定性量化。

Mar, 2024

通过神经网络高斯过程提高深度学习输出不确定性估计和泛化能力

提出一种简单的方法，将神经网络和高斯过程相结合，以更好地估计输出的不确定性和提高模型的泛化性能，并且采用随机变分推断算法和随机梯度下降法进行模型优化。实验结果表明，该方法在两个时空数据集上均表现出优异的性能。

Jul, 2017

使用引导权重的深度学习中的稀疏不确定性表示

本研究提出一种基于感知器的设计方案，该方案结合了贝叶斯神经网络和深度集成等现代方法，通过在每层的权重矩阵中加入少量的诱导权重来降低存储和计算成本，同时保持较好的预测精度和不确定性估计能力。

May, 2021