本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。

Oct, 2018

该研究提出了一种称为fBNN的函数变分贝叶斯神经网络，该网络使用随机过程来定义ELBO，可以指定包含丰富结构的先验分布，提供可靠的不确定性估计并适用于大型数据集。

Mar, 2019

介绍了一种流行的近似推理方法mean-field variational inference（MFVI）的表现限制，MFVI无法在分离的观测区域之间给出校准的不确定性估计，解决这种问题的方法是使用一个经典技术，即线性Laplace近似。

Jun, 2019

通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

Sep, 2019

通过对高斯均值场变分推理方法训练的深层贝叶斯神经网络的后验标准差进行矩阵低秩分解，我们可以将变分推理方法更紧凑地参数化，并提高其信噪比，从而加速其收敛速度。

Feb, 2020

本文提出直接近似贝叶斯模型函数空间或预测后验分布的方法，并指出了使用Kullback-Leibler divergence方法的优劣，提出了基于Bayesian linear regression的benchmark方法来评估预测质量和后验近似质量。

Nov, 2020

本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

May, 2023

文章探讨了一种在预测空间中采用Dirichlet 先验和进行近似函数空间变分推理的方法，通过该方法，可以将相同的函数空间先验合并到不同的模型中，提高可扩展性，改进不确定性量化和敌对抗性。

Jul, 2023

连续学习方法通过顺序贝叶斯推断模型对神经网络进行优化，使得神经网络对新任务的适应性更好、拥有更灵活的变分分布和更有效的正则化，从而实现更好的预测准确性。

Dec, 2023

Bayesian神经网络以贝叶斯理念结合了神经网络的预测性能和对安全关键系统和决策制定至关重要的原则性不确定性建模。但是后验不确定性的估计取决于先验的选择，而在权重空间中找到信息量丰富的先验证明非常困难。为了解决这个问题，我们使用了一种基于广义VI的方法结合正则化的KL散度，可以被认为是BNN中具有高斯过程先验的函数空间推断的首个良定义变分目标。实验证明，我们的方法在合成数据和小型现实世界数据集上具备GP先验指定的特性，并与基于函数和权重空间先验的BNN基线相比，在回归、分类和外分布检测方面提供了有竞争力的不确定性估计。

Jun, 2024