具有贝叶斯深度神经网络的分类快速预测不确定性

Mar, 2020

具有贝叶斯深度神经网络的分类快速预测不确定性

Fast Predictive Uncertainty for Classification with Bayesian Deep Networks

Marius Hobbhahn, Agustinus Kristiadi, Philipp Hennig

TL;DR本文提出了使用 Dirichlet 近似来构建分类神经网络输出的分布，该近似比先构建权重的 Gaussian 分布再进行采样来得更省时，同时有利于计算不确定性和大规模数据集的应用，例如 ImageNet。

Abstract

In bayesian deep learning, distributions over the output of classification neural networks are often approximated by first constructing a Gaussian distribution over the weights, then sampling from it to receive a distribution over the softmax outputs. This is costly. We reconsider old

bayesian deep learning gaussian distribution dirichlet approximation uncertainty estimate imagenet

发现论文，激发创造

混合拉普拉斯逼近以改善深度学习后验不确定性

本文介绍了一种基于高斯混合模型后验的预测方法，通过对独立训练的深度神经网络的拉普拉斯近似加权求和，可以缓解深度神经网络对离群值的过于自信预测问题，并在标准不确定性量化基准测试中与最先进的基准进行了比较。

Nov, 2021

利用证据理论的深度学习进行分类不确定性量化

通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能，我们提出一种与贝叶斯神经网络正交的方法，该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。

Jun, 2018

谈论分类概率的贝叶斯方法

提出一种使用贝叶斯方法中的随机变量作为分类任务中的 softmax 的替代品，以更好地估计不确定性和模型校准，并在多种挑战性任务中提供了一致的泛化性能提高。

Feb, 2020

高斯 - Softmax 积分的均场逼近及其在不确定性估计中的应用

本文提出了一种新的单模型方法，通过模擬高斯分布与神经网络的 softmax 输出的集成来解决深度神经网络输出预测中的不确定性问题，同时可以进行闭式近似推断。实验证明，该方法在标准不确定性估计任务中性能竞争力强，并且在超出分布检测方面优于许多基线方法。

Jun, 2020

在无限宽度极限下探究神经网络隐式先验的不确定性特性

本文研究深度学习模型的不确定性估计问题，基于神经网络高斯过程构建了一个概率模型，能够更好地校准模型并比较有限和无限宽模型的表现差异，同时也考虑了分类问题和迁移学习等实际应用场景。

Oct, 2020

揭示拉普拉斯近似用于不确定性估计的经验病理

本研究评估了贝叶斯方法在深度学习中用于不确定性估计的方法，重点关注广泛应用的 Laplace 近似及其变体。我们的研究发现，传统的拟合 Hessian 矩阵的方法对于处理超出分布的检测效率产生了负面影响。我们提出了一种不同的观点，认为仅关注优化先验精度可以在超出分布检测中产生更准确的不确定性估计，并保持适度的校准度。此外，我们证明了这种特性与模型的训练阶段无关，而是与其内在性质相关。通过广泛的实验评估，我们证实了我们简化方法在超出分布领域中优于传统方法的优越性。

Dec, 2023

深度学习时代的可扩展贝叶斯推断：从高斯过程到深度神经网络

本论文介绍了一种将大型神经网络装备上模型的不确定性的方法，并应用了这个方法在 ResNet-50 和深度图像先验网络上进行了实验。

Apr, 2024

基于置信度估计的不确定性感知狄利克雷网络故障预测

本研究介绍了基于不确定性的深度狄利克雷神经网络可靠地评估模型置信度和预测错误，提出新的准则基于置信度分数匹配来学习正确预测和失败的真实类别概率，并在多个图像分类任务上取得了优于传统网络最大类概率的预测真实类别概率的实验结果。

Oct, 2020

使用软正规化进行不确定性估计的变分推断贝叶斯卷积神经网络

通过对 Softplus 函数的输出进行归一化，我们为具有变分推断的贝叶斯卷积神经网络引入了一种新的分类任务的不确定性估计方法。我们展示了这种可靠的变分推断方法如何作为各种网络架构的基本构造，并在多个数据集（MNIST，CIFAR-10，CIFAR-100）中的监督学习设置中实现与同一架构的频率主义推断相同的性能。

Jun, 2018

关于贝叶斯神经网络中近似推断表现的探讨

通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

Sep, 2019