本文提出了深度权重先验（DWP）作为深度卷积神经网络的新型先验分布。DWP 利用生成模型来鼓励已训练卷积滤波器的特定结构，例如权重之间的空间相关性。作者提出了一种变分推断方法来处理这种隐式先验分布，并通过实验证明，当训练数据有限时，使用 DWP 可以改进贝叶斯神经网络的性能，使用 DWP 样本初始化权重也可以加速传统卷积神经网络的训练。

Oct, 2018

研究了使用 Gaussian weight prior 和一类 ReLU 类非线性函数的深度贝叶斯神经网络形成的单位激活层级的先验分布随层级深度加深而变得更重尾的正则化效应。

Oct, 2018

本研究研究使用随机梯度下降算法训练的神经网络的权重统计数据，发现卷积神经网络和 ResNet 的权重显示出强烈的空间相关性，而全连接网络则显示出重尾的权重分布，根据这些观察得出更好的先验可以提高对各种图像分类数据集的性能。

Feb, 2021

本文为解决 Bayesian 深度学习中的先验分布选择困难性问题，提出了一种基于 Gaussian processes 的新颖的功能先验分布匹配框架，该框架可通过 Markov chain Monte Carlo 方法进行可扩展的先验分布采样，从而显著提高了性能。

Nov, 2020

本文提出了在 SVG 框架内通过采用矩阵变量高斯先验对 NN 参数进行有效的结构权重不确定性后验学习的方法，并进一步研究了顺序决策问题中的学习到的结构不确定性，包括上下文三臂强化学习和强化学习。在几个合成和实际数据集上的实验证明了我们模型相对于最先进的方法的优越性。

Dec, 2017

该综述强调了先验选择对贝叶斯深度学习的重要性，并概述了各种先验方法及利用数据进行先验学习方法，以期激励实践者们更加谨慎地思考其模型的先验规范。

May, 2021

通过研究学习卷积核的协方差，提出了一种针对卷积滤波器的学习自由的多元初始化方案，该方案的性能优于传统的随机初始化方法，并且在某些情况下，即使不训练深度卷积滤波器，也可以提高性能。

Oct, 2022

提出了 MOdel Priors with Empirical Bayes using DNN（MOPED）方法，利用推理后验进行变分推断。 实验证明，该方法可以实现可扩展的变分推断并提供可靠的不确定性量化。

Jun, 2019

本文提出一种基于贝叶斯网络结构学习的方法，用于无监督结构学习深度神经网络，通过生成图，构建其随机反向，然后构建一个判别图，证明生成图的潜变量之间的条件依赖关系在条件 “分类条件下” 丢失在判别图，从而实现通用网络深层（卷积和密集）的学习结构替代，在保持分类准确性的同时显著减少计算成本。

Jun, 2018

本文提出了一种基于贝叶斯网络结构学习的非参数生成模型，采用分层贝叶斯框架来捕捉变量之间的系统性关系，通过 MCMC 算法推导出变量的类别、贝叶斯网络结构和类别间的先验概率，实验证明该方法在小样本数据集中更准确。

Jun, 2012