Feb, 2022
启用图形重新参数化,在贝叶斯深度神经网络中实现 1000 + 次蒙特卡罗迭代
Graph Reparameterizations for Enabling 1000+ Monte Carlo Iterations in Bayesian Deep Neural Networks
Jurijs Nazarovs, Ronak R. Mehta, Vishnu Suresh Lokhande, Vikas Singh
TL;DR深度学习模型不确定性估计中,传统的高斯分布不一定适用。本研究提出了一种构建计算图框架的方法,通过识别概率分布族,实现计算图的纬度独立或者仅仅弱相关,并进行蒙特卡罗采样来估计 KL 散度等指标,从而提高图像识别的准确性、稳定性以及训练过程中的内存和时间效率。