贝叶斯深度学习的子空间推断

Jul, 2019

Subspace Inference for Bayesian Deep Learning

Pavel Izmailov, Wesley J. Maddox, Polina Kirichenko, Timur Garipov, Dmitry Vetrov...

TL;DR本文提出了一种构建参数空间低维子空间的方法，并在这些子空间中应用椭圆切片采样和变分推断的贝叶斯模型平均方法，以产生准确的预测和良好的预测不确定性。

Abstract

bayesian inference was once a gold standard for learning with neural networks, providing accurate full predictive distributions and well calibrated uncertainty. However, scaling bayesian inference techniques to d

bayesian inference neural networks parameter space elliptical slice sampling predictive uncertainty

发现论文，激发创造

深度神经网络中的有效可扩展不确定性量化学习主动子空间

本研究提出了一种新颖的方案，通过构建神经网络参数的低维子空间（称为活跃子空间）来解决贝叶斯深度学习中由于参数空间的高维导致的计算复杂性限制。我们展示了显著降低的活跃子空间，通过 Monte Carlo（MC）采样方法或变分推断实现了可行和可扩展的贝叶斯推断，为各种回归任务提供了可靠的预测和鲁棒的不确定性估计。

Sep, 2023

基于子网络推断的贝叶斯深度学习

本文介绍一种基于子网络推断框架和线性 Laplace 逼近的贝叶斯深度学习方法，用于提高深度神经网络的预测精度和有效性。在子网络中推断出如此表达力强大的后验逼近，该方法得以比全网络的后验逼近和 Ensembles 方法实现更好的效果。

Oct, 2020

贝叶斯半结构子空间推断

通过子空间推理为半结构化回归模型提供贝叶斯近似，解决了考虑认知不确定性的问题，并展示了卓越的预测性能。

Jan, 2024

一种学习主子空间的新型随机梯度下降算法

本文基于样本输入数据推导出一种算法，可以学习如何从具有潜在主子空间的矩阵中进行分类或降维，适用于神经网络，可以有效地扩展到无限数量的行和列上。

Dec, 2022

投影式斯坦变分梯度下降

该研究提出一种基于投影斯坦变分梯度下降（pSVGD）方法，通过利用参数投影的低维系数，克服了贝叶斯推断中维度灾难的长期挑战，并在参数维度范围从数百到数万个的实验中证明了其准确性和效率。