BriefGPT.xyz
Jun, 2021
宽广场（Wide）均场变分贝叶斯神经网络忽视数据
Wide Mean-Field Variational Bayesian Neural Networks Ignore the Data
HTML
PDF
Beau Coker, Weiwei Pan, Finale Doshi-Velez
TL;DR
该研究利用变分推断来近似后验推断高度超参数化的神经网络，研究发现当单层贝叶斯神经网络中的隐藏单元数量趋近于无穷大时，平均场变分推断下的函数空间后验均值实际上收敛于零，完全忽略数据，这与真后验收敛于高斯过程相反。这项工作提供了对变分推断中KL散度过度正则化的洞见。
Abstract
variational inference
enables approximate
posterior
inference of the highly over-parameterized
neural networks
that are popular in modern
→