贝叶斯神经网络中的“中间”不确定性
本文介绍了一种基于 Markov 过程的 mean field variational approximation 方法,用于近似描述 Continuous-time Bayesian networks 中的概率分布,并提供了较好的推断和学习效果。
May, 2012
本文提出一种使用异常检测评估神经网络中不确定性质量的方法,通过从候选模型的预测中提取不确定性度量,将这些度量作为异常检测器的特征,并评估检测器区分已知类别和未知类别的能力。在MNIST和CIFAR10数据集上实验,比较了最大似然、贝叶斯随机失活、One-Sample贝叶斯逼近和标准变分逼近等候选神经网络模型的表现,结果表明贝叶斯随机失活和One-Sample贝叶斯逼近提供了更好的不确定性信息,并且在MNIST上与标准变分逼近相当,但速度更快。
Dec, 2016
本文将神经网络中的乘性噪声重新解释为辅助的随机变量,并将其引入贝叶斯神经网络的变分设置中。通过使用这种解释,我们展示了通过采用标准化流来改进近似后验估计的高效性和简单性,同时仍允许局部重新参数化和可计算较低的下界。通过实验证明,基于这种新近似方法的贝叶斯神经网络方法在预测准确性和不确定性方面都有显著提高。
Mar, 2017
该论文介绍了一种基于贝叶斯原理的神经网络反演方法,利用对先验分布采样的数据正则化参数,从而提高神经网络模型的预测不确定性识别和量化能力。经过理论和实证分析,该方法相对于传统的平均集成技术具有更好的性能表现。
Oct, 2018
通过研究两种常见的变分方法,该文证明了在低不确定性区域之间不存在过多信息增加的情况,并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布,但发现了类似于单隐层 ReLU 情况的病理现象。
Sep, 2019
本文提出了一种基于贝叶斯推断的神经网络未来预测方法,该方法通过对ReLU网络权重进行近似高斯分布的理论分析和实验验证,同时发现了使用简单的贝叶斯近似方法可以解决ReLU网络的过度自信问题。
Feb, 2020
本文提出一种方法来训练拉普拉斯逼近神经网络中的不确定性,介绍了用于拉普拉斯逼近网络的不确定性单元,并通过不确定性感知目标来训练这些单元,以提高在不同不确定性量化任务中的性能表现。
Oct, 2020
本研究旨在利用模型不确定性作为 BNN 结构学习的框架,提出了可与模型空间约束结合的可扩展变分推理方法,试图在模型和参数的联合空间中进行推理,进而实现结构和参数不确定性的组合,并在基准数据集上进行了实验,表明使方法比普通 Bayesian neural networks 更加稀疏,但得到了与竞争模型相当的精度结果。
May, 2023
在这篇论文中,我们提出了一个基于函数空间变分推断的可扩展函数空间变分推断方法,该方法明确地将贝叶斯推断应用于神经网络,并允许结合先验信息以产生可靠的预测不确定性评估。我们展示了该方法在一系列预测任务上的最新不确定性估计和预测性能,并证明其在安全关键的医学诊断任务中表现出色。
Dec, 2023
本论文介绍了一种将大型神经网络装备上模型的不确定性的方法,并应用了这个方法在ResNet-50和深度图像先验网络上进行了实验。
Apr, 2024