Jun, 2024
贝叶斯与 PAC-Bayesian 深度神经网络集成
Bayesian vs. PAC-Bayesian Deep Neural Network Ensembles
Nick Hauptvogel, Christian Igel
TL;DR贝叶斯神经网络通过学习模型参数的后验分布来解决认知不确定性问题。使用该后验进行抽样和加权网络，从而形成一个被称为贝叶斯集合的集合模型。相对于个别网络，深度集合可以受益于误差抵消效应，提高预测性能。本文论证了贝叶斯集合的抽样和加权方法并不适合增加泛化性能，因为它们无法实现误差抵消效应。相反，通过优化 PAC-Bayesian 泛化约束得到模型的加权平均值可以提高泛化性能。这种加权方法需要考虑模型之间的相关性，可以通过最小化串级损失来实现。PAC-Bayesian 加权方法增强了对相关模型和性能较低模型的稳健性，因此我们可以安全地添加来自同一学习过程的多个模型到集合中，而不是使用早停法选择单一的权重配置。本研究在四个不同的分类数据集上给出了实证结果，表明尽管计算代价较高，但来自文献中的最先进的贝叶斯集合并没有改进普通权重的深度集合，并且无法与通过优化串级损失的深度集合相匹配，后者还具有非空泛化保证。