在这篇论文中，我们提出了一个基于函数空间变分推断的可扩展函数空间变分推断方法，该方法明确地将贝叶斯推断应用于神经网络，并允许结合先验信息以产生可靠的预测不确定性评估。我们展示了该方法在一系列预测任务上的最新不确定性估计和预测性能，并证明其在安全关键的医学诊断任务中表现出色。

Dec, 2023

本研究提出了一种统一算法，以高效学习一类广泛的线性和非线性状态空间模型为主，包括由深度神经网络建模的发射和转移分布，使用结构化变分逼近参数化的循环神经网络来模拟后验分布，同时学习编译的推理网络和生成模型。通过应用于合成和真实数据集，本算法展现了其可扩展性和通用性，并发现使用结构化的后验近似会导致具有显著更高留存的可能性的模型。

Sep, 2016

本文提出直接近似贝叶斯模型函数空间或预测后验分布的方法，并指出了使用 Kullback-Leibler divergence 方法的优劣，提出了基于 Bayesian linear regression 的 benchmark 方法来评估预测质量和后验近似质量。

Nov, 2020

基于高斯过程和贝叶斯推理，提出了一种针对永续学习的功能正则化框架，该方法通过构建和记忆潜在任务特定函数的近似后验信念，避免遗忘以前的任务，并通过控制学习过程中 KL 正则化术语的使用，增强了未来任务的学习。

Jan, 2019

本文提出变分连续学习 (Variational Continual Learning，VCL) 框架，它将在线变分推理 (Online Variational Inference, VI) 和神经网络中的蒙特卡罗变分推理 (Monte Carlo VI) 相融合，成功地在任务时序不断演变、全新任务涌现等复杂连续学习情景下对深度判别模型和生成模型进行建模并避免灾难性遗忘的发生。实验结果表明，在多种任务上，VCL 优于现有的连续学习方法。

Oct, 2017

本文提出一种基于变分推断的高维深度学习不确定性量化方法，使用高斯过程将贝叶斯卷积神经网络先验和变分族相结合，为任意有监督的学习任务提供了预测不确定性估计，同时提供了快速训练的方法。此外，该文还提供了构建回归损失函数的充分条件，使其概率对应物与 aleatoric 不确定性量化相容。

Mar, 2020

本研究提出了一种名为 VAR-GPs 的方法，采用贝叶斯定理作为框架，在通过观察数据在线连续学习过程中解决后验更新的问题，并使用稀疏诱导点逼近可扩展后验概率分布，从而避免了灾难性遗忘的问题。经过实验验证，在现代连续学习基准测试中，VAR-GPs 表现优异，证明了作者们建模选择的功效。

Jun, 2020

通过将神经网络从权重空间转化为函数空间的双参数化技术，我们解决了渐进学习方法在深度学习中的挑战，包括融入新数据和保留先前知识等问题。该技术在大规模数据集上通过稀疏化实现了函数空间方法的可扩展性，同时在有限访问过去数据时保留先前知识，并且在不需重训练的情况下融合新数据。我们的实验表明，我们能够在持续学习中保留知识并高效地融入新数据。此外，我们进一步展示了该技术在不确定性量化和基于模型的强化学习中的优势。详情和代码可在项目网站上找到。

Mar, 2024

Bayesian 神经网络以贝叶斯理念结合了神经网络的预测性能和对安全关键系统和决策制定至关重要的原则性不确定性建模。但是后验不确定性的估计取决于先验的选择，而在权重空间中找到信息量丰富的先验证明非常困难。为了解决这个问题，我们使用了一种基于广义 VI 的方法结合正则化的 KL 散度，可以被认为是 BNN 中具有高斯过程先验的函数空间推断的首个良定义变分目标。实验证明，我们的方法在合成数据和小型现实世界数据集上具备 GP 先验指定的特性，并与基于函数和权重空间先验的 BNN 基线相比，在回归、分类和外分布检测方面提供了有竞争力的不确定性估计。

Jun, 2024

本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

May, 2023