研究使用贝叶斯神经网络作为替代标准高斯过程代理模型进行优化，并比较了多种不同的近似推理程序，发现在不同问题中，方法的排名高度依赖于问题本身。其中，在高维问题中，无限宽度的贝叶斯神经网络特别有前途。

May, 2023

本文研究贝叶斯神经网络中后验概率的真实性及精度，通过 MCMC 抽样实验发现使用贝叶斯后验的预测性能显著不如基于 SGD 的点估计方法，并提出了一种 “冷后验” 的新方法，解释其使用背景及理论基础。本工作挑战了贝叶斯深度学习中关于精度估算的目标，提出从理解和探究 “冷后验” 方法优化神经网络性能入手。

Feb, 2020

本研究提出了一种名为 'prior 重定向 ' 的方法，通过将贝叶斯神经网络后验变换为一种与 BNN 先验 KL 散度消失的分布，使用 prior 重定向，可以开发出更快的 MCMC 后验抽样算法，相较于未采用重参数化的标准 BNN，我们观测到全连接和残差网络的有效样本量最高可提高 50 倍。

Jun, 2022

该论文提出了一种基于贝叶斯神经网络的方法，使用 Hamitonian Monte Carlo 采样和 rebasin 方法，对神经网络的权重进行可解释的不确定性估计，从而实现了采样方法和变分推断的统一，可以直接比较不同采样方法和变分推断训练的神经网络，并利用来自 HMC 的不确定性估计逐渐修剪未使用显式贝叶斯框架训练的神经网络。

Dec, 2023

提出了对抗后验蒸馏框架，使用生成对抗网络 (GAN) 来压缩随机梯度 Langevin 动力学 (SGLD) 采样，使其在效率和精度方面都具有优势，能够将 Bayes 神经网络 (BNN) 应用于诸如异常检测、主动学习和对抗性攻击防御等细分领域

Jun, 2018

使用贝叶斯方法进行深度神经网络（BNNs）训练在广泛应用中受到了极大关注，并且已被有效地应用于各种情况。然而，大多数关于对 BNNs 的后验集中性质的研究仅在具有稀疏或重尾先验的 BNN 模型中证明结果。令人惊讶的是，目前还没有关于使用最常用的高斯先验进行 BNNs 的理论结果存在。这种理论缺乏是由于没有非稀疏且具有有界参数的深度神经网络（DNNs）的近似结果。在本文中，我们提出了一个新的近似理论，用于具有有界参数的非稀疏 DNNs。此外，基于该近似理论，我们表明具有非稀疏一般先验的 BNNs 可以以接近最小最优后验集中速率接近真实模型。

Mar, 2024

本研究旨在推广利用深度神经网络中的对称性，在保证不影响功能输出的前提下优化贝叶斯推断过程，并进一步给出适当的蒙特卡罗采样次数的上限来捕捉功能多样性，最终成功实现高效的贝叶斯不确定性量化。

Apr, 2023

通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。

Sep, 2019

我们提出了一种有效的基于采样的训练策略，将 pBNN 的训练过程表述为模拟一个 Feynman-Kac 模型，并使用序贯蒙特卡洛采样器的变体来同时估计参数和这个模型的潜在后验分布，在各种合成和真实数据集上展示了我们提出的训练方案在预测性能方面优于最先进的方法。

Oct, 2023

本文讨论贝叶斯神经网络在图片分类上的应用，发现此类应用使用的是错误的似然度。作者开发了一个描述 “筛选” 过程的生成模型，并与之前使用的调整后的后验概率似然度进行了基于贝叶斯思想的对比。

Aug, 2020