Nov, 2023
结合分割一致预测与贝叶斯深度学习的超出分布覆盖率
On the Out-of-Distribution Coverage of Combining Split Conformal Prediction and Bayesian Deep Learning
Paul Scemama, Ariel Kapusta
TL;DR贝叶斯深度学习和符合性预测是两种用于传达不确定性并增强机器学习系统安全性的方法，本文关注将贝叶斯深度学习与拆分符合性预测相结合，并探讨这种组合对于多类图像分类中的带外覆盖的影响。研究结果表明，当模型在校准集上普遍缺乏信心时，所得到的符合性集合可能比简单的预测可信集合显示出更差的带外覆盖；相反，当模型在校准集上过于自信时，采用符合性预测可能提高带外覆盖。我们评估了结合拆分符合方法和使用（i）随机梯度下降，（ii）深度集成和（iii）平均场变分推断训练的神经网络的预测集。研究结果表明，在某些情况下，将贝叶斯深度学习模型与拆分符合性预测相结合可能导致意外后果，例如降低带外覆盖。