任意非线性贝叶斯神经网络的小样本变分推断
本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。
Oct, 2018
该研究提出了一种称为fBNN的函数变分贝叶斯神经网络，该网络使用随机过程来定义ELBO，可以指定包含丰富结构的先验分布，提供可靠的不确定性估计并适用于大型数据集。
Mar, 2019
本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。
May, 2023
研究使用贝叶斯神经网络作为替代标准高斯过程代理模型进行优化，并比较了多种不同的近似推理程序，发现在不同问题中，方法的排名高度依赖于问题本身。其中，在高维问题中，无限宽度的贝叶斯神经网络特别有前途。
May, 2023
使用全局诱导点变分逼近来构造一系列条件分布，从而准确地对真实后验分布进行近似，其中诱导输入可以被实际数据替代，使变分分布由每个数据点的近似似然组成，从而实现了基于完整数据点的均摊推断。
Oct, 2023
稀疏子空间变分推理（SSVI）是一种全稀疏贝叶斯神经网络（BNN）框架，它通过从随机初始化的低维稀疏子空间开始，交替优化稀疏子空间基选择和相关参数，实现了在训练和推理阶段一致高稀疏性的BNN模型。
Feb, 2024
本研究提出一种对轻量级贝叶斯神经网络（BNN）进行抽样无关变分推断的简单框架，通过将异方差预测不确定性和经验差异嵌入到学习得到的BNN参数的方差中，提高了预测性能。
Feb, 2024
Bayesian神经网络以贝叶斯理念结合了神经网络的预测性能和对安全关键系统和决策制定至关重要的原则性不确定性建模。但是后验不确定性的估计取决于先验的选择，而在权重空间中找到信息量丰富的先验证明非常困难。为了解决这个问题，我们使用了一种基于广义VI的方法结合正则化的KL散度，可以被认为是BNN中具有高斯过程先验的函数空间推断的首个良定义变分目标。实验证明，我们的方法在合成数据和小型现实世界数据集上具备GP先验指定的特性，并与基于函数和权重空间先验的BNN基线相比，在回归、分类和外分布检测方面提供了有竞争力的不确定性估计。
Jun, 2024
本文通过严密推导，针对贝叶斯两层神经网络在无穷宽度限制下采用变分推断方法进行回归任务训练，证明了它们的中心极限定理（CLT）。该研究比较了不同网络训练方案的波动行为，发现最小化变分推断方法在计算复杂度上具有更高效的优势。
Jun, 2024