本研究发展了一种新的理论框架，将深度神经网络的dropout训练视为深高斯过程中的近似贝叶斯推断。我们的理论框架使我们能够通过dropout神经网络建模不确定性，从而解决了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试精度。

Jun, 2015

本文提出一种使用异常检测评估神经网络中不确定性质量的方法，通过从候选模型的预测中提取不确定性度量，将这些度量作为异常检测器的特征，并评估检测器区分已知类别和未知类别的能力。在MNIST和CIFAR10数据集上实验，比较了最大似然、贝叶斯随机失活、One-Sample贝叶斯逼近和标准变分逼近等候选神经网络模型的表现，结果表明贝叶斯随机失活和One-Sample贝叶斯逼近提供了更好的不确定性信息，并且在MNIST上与标准变分逼近相当，但速度更快。

Dec, 2016

本文提出了一种基于Bayesian决策理论的新的、具有损失校准的证据下界来近似贝叶斯神经网络的真实后验分布，该下界依赖于一种效用函数，以确保我们的逼近方法对于具有非对称效用函数的应用程序具有更高的效用。此外，该方法具有与标准dropout神经网络相同的目标，但具有额外的依赖于效用函数的惩罚项。

May, 2018

该论文介绍了一种基于贝叶斯原理的神经网络反演方法，利用对先验分布采样的数据正则化参数，从而提高神经网络模型的预测不确定性识别和量化能力。经过理论和实证分析，该方法相对于传统的平均集成技术具有更好的性能表现。

Oct, 2018

本研究通过对 10 种常见的推断方法在回归和分类任务中的预测不确定性估计结果进行实证比较，发现常用的指标可能会导致误导，并表明为了得到高质量的后验逼近并不一定需要具有捕获后验结构的推断创新。

Jun, 2019

本文提出了一种基于贝叶斯推断的神经网络未来预测方法，该方法通过对ReLU网络权重进行近似高斯分布的理论分析和实验验证，同时发现了使用简单的贝叶斯近似方法可以解决ReLU网络的过度自信问题。

Feb, 2020

该研究旨在通过一种单次MC退火的方法来提高贝叶斯变体深度神经网络的测试时间，同时保持不确定性测量的优点。经过基准测试和模拟游戏等方面的验证，该方法能够在实时部署BDNNs时实现预测分布的点估计和不确定性估计。

Jul, 2020

我们提出了一种快速的基于矩阵传播的近似方法，将神经网络转换成贝叶斯神经网络，实现对预测分布的点估计和不确定性估计，并通过与深度集成技术相结合进一步提高不确定性测量的性能。

Aug, 2023

神经网络在各个问题领域取得了显著的表现，但其普适性受到其内在限制的阻碍，如预测上的过度自信、解释能力的欠缺和对对抗攻击的易受攻击性等。为了解决这些挑战，贝叶斯神经网络（BNNs）已成为传统神经网络的引人注目的扩展，在预测能力中整合了不确定性估计。本文系统地介绍了神经网络和贝叶斯推理的基本概念，阐明了它们对BNNs的协同集成的发展。目标受众包括具有贝叶斯方法背景但缺乏深度学习专业知识的统计学家，以及具有有限贝叶斯统计知识但精通深度神经网络的机器学习专家。我们概述了常用的先验知识，分析了它们对模型行为和性能的影响。此外，我们还深入探讨了在BNN研究领域内的先进主题，承认了不断进行的辩论和争议。通过提供对前沿发展的深入洞察，本文不仅为研究人员和实践者提供了BNNs方面的坚实基础，还展示了该动态领域的潜在应用。作为宝贵的资源，它促进对BNNs及其前景的理解，推动知识和创新的进一步发展。

Sep, 2023

本论文介绍了一种将大型神经网络装备上模型的不确定性的方法，并应用了这个方法在ResNet-50和深度图像先验网络上进行了实验。

Apr, 2024