使用贝叶斯方法进行深度神经网络（BNNs）训练在广泛应用中受到了极大关注，并且已被有效地应用于各种情况。然而，大多数关于对 BNNs 的后验集中性质的研究仅在具有稀疏或重尾先验的 BNN 模型中证明结果。令人惊讶的是，目前还没有关于使用最常用的高斯先验进行 BNNs 的理论结果存在。这种理论缺乏是由于没有非稀疏且具有有界参数的深度神经网络（DNNs）的近似结果。在本文中，我们提出了一个新的近似理论，用于具有有界参数的非稀疏 DNNs。此外，基于该近似理论，我们表明具有非稀疏一般先验的 BNNs 可以以接近最小最优后验集中速率接近真实模型。

Mar, 2024

本文提出一种新颖的网络架构搜索 (NAS) 方法，用于优化 Bayesian 神经网络（BNN）的精度和不确定性，同时减少推理延迟。与传统的 NAS 不同，该方法使用来自内部和外部分布的数据搜索模型的不确定性性能，从而可以在网络中搜索贝叶斯层的正确位置，并且相对于流行的 BNN 基线，使用的运行时仅为其一小部分，将推理运行时成本分别与 MCDropout 和 deep ensemble 相比在 CIFAR10 数据集上分别降低了 2.98 倍和 2.92 倍。

Feb, 2022

本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

May, 2023

通过选择性地通过梯度敏感性分析评估确定性显著性，本研究引入了对稀疏（部分）贝叶斯网络的训练过程。通过将确定性参数与贝叶斯参数相结合，充分利用两种表示的优点，实现了高效的特定任务性能和最小化的预测不确定性。在多标签 ChestMNIST 分类和 ISIC、LIDC-IDRI 分割任务上表现出了有竞争力的性能和预测不确定性估计，相比完全贝叶斯化和集合方法，能够显著减少 95% 以上贝叶斯参数，从而大大降低计算开销。

Jun, 2024

通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

Sep, 2019

本研究提出了将不同类型的知识约束作为后验正则化项，结合增广 Lagrangian 方法和现有的 BNN 求解器进行有效推理，进而改进传统 BNN 模型的性能，并通过模拟实验以及航空着陆预测和太阳能输出预测等两个案例表明新模型的性能提高。

Oct, 2022

研究使用贝叶斯神经网络作为替代标准高斯过程代理模型进行优化，并比较了多种不同的近似推理程序，发现在不同问题中，方法的排名高度依赖于问题本身。其中，在高维问题中，无限宽度的贝叶斯神经网络特别有前途。

May, 2023

本研究介绍贝叶斯神经网络的实现方法，比较不同的近似推理方法，探讨如何在当前方法的基础上改进未来研究。

Jun, 2020

深度神经网络（DNN）是各种计算机视觉任务的强大工具，但它们经常在可靠的不确定性量化方面遇到困难 - 这是实际应用的关键要求。贝叶斯神经网络（BNN）能够进行不确定性估计，但无法扩展到高度不稳定的大型 DNNs，这些 DNNs 难以训练。为了解决这个挑战，我们引入了适应性贝叶斯神经网络（ABNN），这是一种简单且可扩展的策略，可以在后期以最小的计算和训练开销的方式将 DNNs 无缝转换为 BNNs。ABNN 通过简单的 BNN 适应层（附加到归一化层）和对预训练模型进行少量微调步骤，保留了 DNNs 的主要预测性能，并增强了它们的不确定性量化能力。我们在多个图像分类和语义分割任务的数据集上进行了大量实验证明，ABNN 在不需要集成方法通常需要的计算预算的情况下实现了最先进的性能。

Dec, 2023

本文介绍了使用本地重新参数化技巧（LRT）和归一化流在 LBBNN 方法的变分后验分布上的应用，以改进预测性能并获得更稀疏的网络，通过两个模拟研究证明这些贝叶斯方法的使用可以得到更为实际的预测不确定性估计。

May, 2023