Dec, 2023

构建BNN:一种从预训练模型中估计贝叶斯不确定性的简单策略

TL;DR深度神经网络(DNN)是各种计算机视觉任务的强大工具,但它们经常在可靠的不确定性量化方面遇到困难-这是实际应用的关键要求。贝叶斯神经网络(BNN)能够进行不确定性估计,但无法扩展到高度不稳定的大型DNNs,这些DNNs难以训练。为了解决这个挑战,我们引入了适应性贝叶斯神经网络(ABNN),这是一种简单且可扩展的策略,可以在后期以最小的计算和训练开销的方式将DNNs无缝转换为BNNs。ABNN通过简单的BNN适应层(附加到归一化层)和对预训练模型进行少量微调步骤,保留了DNNs的主要预测性能,并增强了它们的不确定性量化能力。我们在多个图像分类和语义分割任务的数据集上进行了大量实验证明,ABNN在不需要集成方法通常需要的计算预算的情况下实现了最先进的性能。