深度学习时代的可扩展贝叶斯推断：从高斯过程到深度神经网络

Apr, 2024

深度学习时代的可扩展贝叶斯推断：从高斯过程到深度神经网络

Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks

Javier Antoran

TL;DR本论文介绍了一种将大型神经网络装备上模型的不确定性的方法，并应用了这个方法在 ResNet-50 和深度图像先验网络上进行了实验。

Abstract

large neural networks trained on large datasets have become the dominant paradigm in machine learning. These systems rely on maximum likelihood point estimates of their parameters, precluding them from expressing model uncertainty. This may result in overconfident predictions and it pr

large neural networks model uncertainty bayesian inference stochastic gradient descent linearised neural networks

发现论文，激发创造

基于采样的大型线性模型推断，应用于线性化拉普拉斯

引入可扩展的基于样本的 Bayesian 推断方法、匹配的超参数选择方法和经典特征归一化方法，以解决线性化神经网络推断中的计算成本限制和先前突出的路径学问题，从而在 CIFAR100、Imagenet 和高分辨率层析成像重建任务中实现线性化神经网络推断。

Oct, 2022

高斯过程模型推理网络的可扩展训练

本论文使用了基于随机推理网络的镜像梯度下降算法来实现高斯过程模型的推理，该算法针对大规模数据的情况具有可扩展性和易实现性，并且在实验中取得了与现有稀疏变分高斯过程方法相当甚至更好的表现。

May, 2019

基于子网络推断的贝叶斯深度学习

本文介绍一种基于子网络推断框架和线性 Laplace 逼近的贝叶斯深度学习方法，用于提高深度神经网络的预测精度和有效性。在子网络中推断出如此表达力强大的后验逼近，该方法得以比全网络的后验逼近和 Ensembles 方法实现更好的效果。

Oct, 2020

通过神经网络高斯过程提高深度学习输出不确定性估计和泛化能力

提出一种简单的方法，将神经网络和高斯过程相结合，以更好地估计输出的不确定性和提高模型的泛化性能，并且采用随机变分推断算法和随机梯度下降法进行模型优化。实验结果表明，该方法在两个时空数据集上均表现出优异的性能。

Jul, 2017

贝叶斯深度知识

本文探讨了应用于深度神经网络中的贝叶斯参数估计问题，提出了一种压缩 Monte Carlo 近似方法的新算法，与贝叶斯神经网络中的其他两种方法作了对比，证明了该算法不仅表现更优，而且更简单易于实现且测试所需运算资源更少。

Jun, 2015

近似推断将深度网络转化为高斯过程

本文研究神经网络和高斯过程之间的关系，证明了贝叶斯神经网络的高斯后验近似等同于高斯过程的后验。在训练神经网络时，利用高斯过程的边缘似然函数来调整神经网络的超参数，得到的核函数是神经切向核。我们的工作旨在促进进一步将神经网络和高斯过程在实际应用中相结合的研究。

Jun, 2019

深度神经网络作为高斯过程

本文研究无限宽深层神经网络和高斯过程的等价性，提出一种计算高斯过程协方差函数的有效方法，并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断，在网络宽度增加时，训练神经网络的准确率和 GP 预测的不确定性分别增加，而有限宽度训练网络越接近 GP，测试性能越好，GP 预测通常优于有限宽度网络的预测，最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。

Nov, 2017

将线性拉普拉斯模型证据应用于现代深度学习

探究 Bayesian 深度学习中用于估计模型不确定性的线性化拉普拉斯方法，并评估其在模型选择方面的假设，并提出了针对现代深度学习更好的适应性建议。

Jun, 2022

混合拉普拉斯逼近以改善深度学习后验不确定性

本文介绍了一种基于高斯混合模型后验的预测方法，通过对独立训练的深度神经网络的拉普拉斯近似加权求和，可以缓解深度神经网络对离群值的过于自信预测问题，并在标准不确定性量化基准测试中与最先进的基准进行了比较。

Nov, 2021

模型和参数不确定性下的贝叶斯神经网络变分推断

本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

May, 2023