本文介绍了一种使用概率分布的随机矩阵来管理参数的变分贝叶斯神经网络，并使用矩阵变量高斯参数后验分布来明确建模每个层的输入和输出维度之间的协方差。此外，使用近似协方差矩阵，可以实现比完全分解更高效且更便宜的表示，同时无需损失模型性能。通过引入 “局部重参数化技巧”，可以将此后验分布转换为高斯过程，从而为每个层的隐藏单元提供解释，与深度高斯过程建立联系，并结合伪数据提高了模型采样效率。实验表明所提出的方法的有效性。

Mar, 2016

本文研究神经网络和高斯过程之间的关系，证明了贝叶斯神经网络的高斯后验近似等同于高斯过程的后验。在训练神经网络时，利用高斯过程的边缘似然函数来调整神经网络的超参数，得到的核函数是神经切向核。我们的工作旨在促进进一步将神经网络和高斯过程在实际应用中相结合的研究。

Jun, 2019

使用神经网络进行影子点位置计算和变分后验分布参数估计可提高 Gaussian Processes 的可扩展性。

Jul, 2021

本文研究无限宽深层神经网络和高斯过程的等价性，提出一种计算高斯过程协方差函数的有效方法，并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断，在网络宽度增加时，训练神经网络的准确率和 GP 预测的不确定性分别增加，而有限宽度训练网络越接近 GP，测试性能越好，GP 预测通常优于有限宽度网络的预测，最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。

Nov, 2017

通过对高斯均值场变分推理方法训练的深层贝叶斯神经网络的后验标准差进行矩阵低秩分解，我们可以将变分推理方法更紧凑地参数化，并提高其信噪比，从而加速其收敛速度。

Feb, 2020

我们在贝叶斯框架中考虑深度神经网络，采用随机网络权重的先验分布。根据 Agapiou 和 Castillo（2023）的最新观点表明，重尾先验分布实现了对平滑性的自适应，我们提出了一个简单的基于重尾权重和 ReLU 激活的贝叶斯深度学习先验。我们证明了相应的后验分布在非参数回归、几何数据和 Besov 空间等多种情况下实现了近乎最优的极小极小收缩率，同时对底层函数的内在维度和平滑性进行了自适应。虽然迄今为止大多数方法需要在先验分布中内置一种模型选择的形式，我们方法的一个关键方面是它不需要对网络架构进行超参数采样学习。我们还提供了结果的变分贝叶斯对应物，表明均场变分近似仍然从近乎最优的理论支持中受益。

Jun, 2024

本文介绍了一种基于双随机变分推断的方法，用于深度高斯过程模型（Deep Gaussian processes）的推断。该方法能够有效地处理数百个到十亿个数据点的分类和回归任务，验证了其推断模型的实用性。

May, 2017

通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

Sep, 2019

通过理论证明和实验证明，我们挑战了长期以来人们对于贝叶斯神经网络变分推断中均场近似的局限性的假设，并表明在深度网络中并非如此。我们的结果表明，在复杂变分先验代价高且难以实现的情况下，使用均场变分推断在更深的模型中是一种实用且理论上可行的替代方法。

Feb, 2020

本文提出了一种变分高斯过程 (VGP) 方法，该方法是一种贝叶斯非参数变分方法，利用随机非线性映射生成近似后验样本，适应于复杂的后验分布，且通过学习随机映射的分布来使之适应于不同的复杂度，该方法在无监督学习中实现了最新的最佳结果。

Nov, 2015