ICMLMar, 2016

基于矩阵高斯后验的结构化高效变分深度学习

TL;DR本文介绍了一种使用概率分布的随机矩阵来管理参数的变分贝叶斯神经网络,并使用矩阵变量高斯参数后验分布来明确建模每个层的输入和输出维度之间的协方差。此外,使用近似协方差矩阵,可以实现比完全分解更高效且更便宜的表示,同时无需损失模型性能。通过引入 “局部重参数化技巧”,可以将此后验分布转换为高斯过程,从而为每个层的隐藏单元提供解释,与深度高斯过程建立联系,并结合伪数据提高了模型采样效率。实验表明所提出的方法的有效性。