研究了使用Gaussian weight prior和一类ReLU类非线性函数的深度贝叶斯神经网络形成的单位激活层级的先验分布随层级深度加深而变得更重尾的正则化效应。

Oct, 2018

本文提出了深度权重先验（DWP）作为深度卷积神经网络的新型先验分布。DWP利用生成模型来鼓励已训练卷积滤波器的特定结构，例如权重之间的空间相关性。作者提出了一种变分推断方法来处理这种隐式先验分布，并通过实验证明，当训练数据有限时，使用DWP可以改进贝叶斯神经网络的性能，使用DWP样本初始化权重也可以加速传统卷积神经网络的训练。

Oct, 2018

本文研究贝叶斯神经网络中后验概率的真实性及精度，通过 MCMC 抽样实验发现使用贝叶斯后验的预测性能显著不如基于 SGD 的点估计方法，并提出了一种“冷后验”的新方法，解释其使用背景及理论基础。本工作挑战了贝叶斯深度学习中关于精度估算的目标，提出从理解和探究“冷后验”方法优化神经网络性能入手。

Feb, 2020

该论文探讨了在深度神经网络中为权重添加结构的好处，其中使用了随机Gabor过滤器设计第一层卷积神经网络的先验，以及估计每个隐藏特征与每个类之间关系的方式来为最终层权重添加先验。经验证明，这些结构化的权重先验可以为图像数据提供更有意义的功能先验。

Jul, 2020

本文讨论贝叶斯神经网络在图片分类上的应用，发现此类应用使用的是错误的似然度。作者开发了一个描述“筛选”过程的生成模型，并与之前使用的调整后的后验概率似然度进行了基于贝叶斯思想的对比。

Aug, 2020

本文为解决Bayesian深度学习中的先验分布选择困难性问题，提出了一种基于Gaussian processes的新颖的功能先验分布匹配框架，该框架可通过 Markov chain Monte Carlo方法进行可扩展的先验分布采样，从而显著提高了性能。

Nov, 2020

研究了有限宽度的贝叶斯神经网络的函数空间先验，包括深度线性网络和有限的ReLU网络，并以Meijer-G函数的形式给出了先验表达式，结果统一了以前对于有限网络先验的描述。

Apr, 2021

针对具有无界方差的神经网络权重的后验推断问题，提供了一种可解释且计算高效的条件高斯表达方法。该方法可利用高斯过程机器进行可行的后验推断和不确定性量化。

May, 2023

该论文研究了现代深度神经网络的权重分布，探讨了深度贝叶斯神经网络后验分布的优化途径、后验质量和不确定性量化的关系、后验中模态的影响和可视化方法，以及权重空间对后验的对称性，并发布了大规模检查点数据集和代码，以帮助改进对贝叶斯后验的理解。

Oct, 2023

我们在贝叶斯框架中考虑深度神经网络，采用随机网络权重的先验分布。根据 Agapiou 和 Castillo（2023）的最新观点表明，重尾先验分布实现了对平滑性的自适应，我们提出了一个简单的基于重尾权重和ReLU激活的贝叶斯深度学习先验。我们证明了相应的后验分布在非参数回归、几何数据和Besov空间等多种情况下实现了近乎最优的极小极小收缩率，同时对底层函数的内在维度和平滑性进行了自适应。虽然迄今为止大多数方法需要在先验分布中内置一种模型选择的形式，我们方法的一个关键方面是它不需要对网络架构进行超参数采样学习。我们还提供了结果的变分贝叶斯对应物，表明均场变分近似仍然从近乎最优的理论支持中受益。

Jun, 2024