ICLROct, 2022
具有主动学习用例的深度学习快速贝叶斯更新
Fast Bayesian Updates for Deep Learning with a Use Case in Active Learning
Marek Herde, Zhixin Huang, Denis Huseljic, Daniel Kottke, Stephan Vogt...
TL;DR针对新数据到来时重训练深度神经网络通常具有计算成本高的问题，因此本文提出了基于 Monte-Carlo 采样和最后一层 Laplace 逼近的贝叶斯更新方法，用于不同类型的贝叶斯神经网络，即 Dropout，Ensemble 和 SNGP，大规模评估研究表明该更新结合 SNGP 是昂贵重新训练的快速而有竞争力的替代方案。同时，将其用于不同顺序查询策略的精选性能的改进，以演示其在主动学习中的应用。