通过在 CNN 的内核上建立概率分布，使用伯努利变分分布来近似模型的不可切合后验，并将dropout网络训练视为 Bayesian 神经网络中的近似推理。相比于标准技术，我们的模型在小数据上具备更好的鲁棒性，并在 CIFAR-10 上的分类准确率上取得了发表的最新结果的显著改善。

Jun, 2015

本文提出了一种使用卷积神经网络实现的关于具有随机偏微分方程的不确定性建模的代理模型，该方法使用变分梯度下降算法对参数进行“近似贝叶斯推断”，可以在处理不确定性时实现和其他方法相比具有最先进的预测精度和不确定性量化，即使训练数据量相对较小，也能获得非常好的性能。

Jan, 2018

通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

Sep, 2019

研究表明， 使用全批处理的哈密顿蒙特卡罗方法可以提高贝叶斯神经网络的性能，并证明模型中选择的先验分布对性能的影响较小，但相比于深度集成、SGLD 等计算代价较小的方法，HMC 呈现出更接近于精确后验分布的预测分布；同时，研究发现贝叶斯神经网络在领域转移方面表现较差。

Apr, 2021

本文介绍了一种基于高斯混合模型后验的预测方法，通过对独立训练的深度神经网络的拉普拉斯近似加权求和，可以缓解深度神经网络对离群值的过于自信预测问题，并在标准不确定性量化基准测试中与最先进的基准进行了比较。

Nov, 2021

本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。

May, 2023

该论文研究了现代深度神经网络的权重分布，探讨了深度贝叶斯神经网络后验分布的优化途径、后验质量和不确定性量化的关系、后验中模态的影响和可视化方法，以及权重空间对后验的对称性，并发布了大规模检查点数据集和代码，以帮助改进对贝叶斯后验的理解。

Oct, 2023

深度神经网络（DNN）是各种计算机视觉任务的强大工具，但它们经常在可靠的不确定性量化方面遇到困难-这是实际应用的关键要求。贝叶斯神经网络（BNN）能够进行不确定性估计，但无法扩展到高度不稳定的大型DNNs，这些DNNs难以训练。为了解决这个挑战，我们引入了适应性贝叶斯神经网络（ABNN），这是一种简单且可扩展的策略，可以在后期以最小的计算和训练开销的方式将DNNs无缝转换为BNNs。ABNN通过简单的BNN适应层（附加到归一化层）和对预训练模型进行少量微调步骤，保留了DNNs的主要预测性能，并增强了它们的不确定性量化能力。我们在多个图像分类和语义分割任务的数据集上进行了大量实验证明，ABNN在不需要集成方法通常需要的计算预算的情况下实现了最先进的性能。

Dec, 2023

稀疏子空间变分推理（SSVI）是一种全稀疏贝叶斯神经网络（BNN）框架，它通过从随机初始化的低维稀疏子空间开始，交替优化稀疏子空间基选择和相关参数，实现了在训练和推理阶段一致高稀疏性的BNN模型。

Feb, 2024

使用贝叶斯方法进行深度神经网络（BNNs）训练在广泛应用中受到了极大关注，并且已被有效地应用于各种情况。然而，大多数关于对BNNs的后验集中性质的研究仅在具有稀疏或重尾先验的BNN模型中证明结果。令人惊讶的是，目前还没有关于使用最常用的高斯先验进行BNNs的理论结果存在。这种理论缺乏是由于没有非稀疏且具有有界参数的深度神经网络（DNNs）的近似结果。在本文中，我们提出了一个新的近似理论，用于具有有界参数的非稀疏DNNs。此外，基于该近似理论，我们表明具有非稀疏一般先验的BNNs可以以接近最小最优后验集中速率接近真实模型。

Mar, 2024