通过附件捕捉更多的不确定性来进行贝叶斯推理
深度神经网络(DNN)是各种计算机视觉任务的强大工具,但它们经常在可靠的不确定性量化方面遇到困难 - 这是实际应用的关键要求。贝叶斯神经网络(BNN)能够进行不确定性估计,但无法扩展到高度不稳定的大型 DNNs,这些 DNNs 难以训练。为了解决这个挑战,我们引入了适应性贝叶斯神经网络(ABNN),这是一种简单且可扩展的策略,可以在后期以最小的计算和训练开销的方式将 DNNs 无缝转换为 BNNs。ABNN 通过简单的 BNN 适应层(附加到归一化层)和对预训练模型进行少量微调步骤,保留了 DNNs 的主要预测性能,并增强了它们的不确定性量化能力。我们在多个图像分类和语义分割任务的数据集上进行了大量实验证明,ABNN 在不需要集成方法通常需要的计算预算的情况下实现了最先进的性能。
Dec, 2023
本研究探讨了利用简单神经网络结构进行贝叶斯推断用于 out-of-distribution 检测的做法的有限性,发现在使用有限宽度网络时,贝叶斯神经网络不能有效地检测 out-of-distribution 数据。
Jul, 2021
本文提出一种新颖的网络架构搜索 (NAS) 方法,用于优化 Bayesian 神经网络(BNN)的精度和不确定性,同时减少推理延迟。与传统的 NAS 不同,该方法使用来自内部和外部分布的数据搜索模型的不确定性性能,从而可以在网络中搜索贝叶斯层的正确位置,并且相对于流行的 BNN 基线,使用的运行时仅为其一小部分,将推理运行时成本分别与 MCDropout 和 deep ensemble 相比在 CIFAR10 数据集上分别降低了 2.98 倍和 2.92 倍。
Feb, 2022
本研究旨在探索深度学习模型的不确定性量化方法,并考虑基于贝叶斯推理的模型在 OoD 检测中的表现,结果显示在某些情况下,这种模型略高于传统的深度神经网络,对于对新输入的敏感性的原因进行研究,并对对抗噪声鲁棒性的影响进行了研究。
Sep, 2020
本文提出了一种将先验知识通过外部摘要信息纳入贝叶斯神经网络中的简单方法,通过引入 Dirichlet 过程并推导相应的总结证据下限,将可用的摘要信息作为增广数据建模。使用本方法可以增强模型对分类任务难度和类别分布的了解,并在准确性、不确定性校准和对数据损坏的鲁棒性等方面表现良好。
Jul, 2022
本文提出了一种利用特征分布建模的不确定性量化方法,并进一步结合高效的集成机制 —— 批量集成随机神经网络(BE-SNNs)来克服特征折叠问题,经过多个 OOD 基准测试,证明 BE-SNNs 在许多方面优于其他现有的方法。
Jun, 2022
这篇研究论文探究了一种新型的贝叶斯深度学习,通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计,并提出了一种有效的随机变分推断方法,以统一网络结构和权重的学习。
Nov, 2019
基于预训练网络的提出高斯分布,通过权重参数抽样区分正常数据和超出分布的数据,证明我们的贝叶斯目标检测器在 BDD100k 和 VOC 数据集上的训练,并在 COCO2017 数据集上的评估中通过降低 FPR95 分数最多 8.19%和增加 AUROC 分数最多 13.94%来实现了令人满意的超出分布的辨别性能。
Oct, 2023
本研究旨在利用模型不确定性作为 BNN 结构学习的框架,提出了可与模型空间约束结合的可扩展变分推理方法,试图在模型和参数的联合空间中进行推理,进而实现结构和参数不确定性的组合,并在基准数据集上进行了实验,表明使方法比普通 Bayesian neural networks 更加稀疏,但得到了与竞争模型相当的精度结果。
May, 2023
本文提出 BayesOD,一种基于贝叶斯推断的物体探测的不确定性估计方法,旨在解决深度神经网络输出不确定性的缺陷,并在四个广泛使用的物体探测数据集上测试表明,BayesOD 提供更好地与探测准确性相关联的不确定性估计,表现为最小高斯误差度量上 9.77%-13.13%的显着降低以及最小分类不确定性误差度量上 1.63%-5.23%的降低。
Mar, 2019