贝叶斯深度学习只需要一个好的函数先验
该研究提出了一种称为fBNN的函数变分贝叶斯神经网络，该网络使用随机过程来定义ELBO，可以指定包含丰富结构的先验分布，提供可靠的不确定性估计并适用于大型数据集。
Mar, 2019
本文介绍了自然图像的一种先验算法——深度图像先验，它使用卷积神经网络对随机输入进行输出，通过使用梯度下降来调整网络参数以使输出匹配观测值。该方法在一系列图像重建任务中表现良好。同时通过推导得出结论，该算法渐近等于一个平稳的高斯过程，这启发了贝叶斯推断的方法。通过使用随机梯度Langevin对后验推断实现去除过早终止的需要，并在去噪和修补任务中提高了结果表现。我们在一些一维和二维信号重建任务中验证了这些算法的实用价值。
Apr, 2019
本文介绍了一种新的可交换随机过程——函数神经过程（FNPs），它们通过学习数据集中点的潜在表示的依赖关系图，对函数分布进行建模。作者在不明确设定潜在全局参数的先验分布的情况下，采用了对给定数据集的关系结构的先验分布来定义贝叶斯模型，并通过小批量优化提高了可扩展性。作者还展示了如何通过后验预测分布对新点进行预测，并在玩具回归和图像分类任务上实验评估了FNPs，证明了相比采用全局潜在参数的基准模型，FNPs不仅提供了竞争性的预测性能，而且更具鲁棒性的不确定性估计。
Jun, 2019
本文引入了一种新的先验——泊松过程径向基函数网络，能够编码幅度稳定性和输入相关长度尺度， 而不像现有的先验那样难以纳入这些基本特性，同时证明了这种新的先验能够解耦这些特性的规范化，且随着观测次数趋于无限大，估计的回归函数是一致的，文章通过人造和真实示例展示了泊松过程径向基函数网络的行为。
Dec, 2019
本文提出了一种将先验知识通过外部摘要信息纳入贝叶斯神经网络中的简单方法，通过引入Dirichlet过程并推导相应的总结证据下限，将可用的摘要信息作为增广数据建模。使用本方法可以增强模型对分类任务难度和类别分布的了解，并在准确性、不确定性校准和对数据损坏的鲁棒性等方面表现良好。
Jul, 2022
本研究旨在推广利用深度神经网络中的对称性，在保证不影响功能输出的前提下优化贝叶斯推断过程，并进一步给出适当的蒙特卡罗采样次数的上限来捕捉功能多样性，最终成功实现高效的贝叶斯不确定性量化。
Apr, 2023
本论文介绍了一种将大型神经网络装备上模型的不确定性的方法，并应用了这个方法在ResNet-50和深度图像先验网络上进行了实验。
Apr, 2024
我们提出一种基于拉普拉斯近似和高斯过程先验的方法，通过直接在函数空间中施加先验来解决深度网络中整体性误差估计的问题，并通过矩阵自由线性代数的高度可扩展方法获得改进的结果。
Jul, 2024
本研究解决了贝叶斯神经网络中经典变分推断在参数空间面临的先验问题，通过提出一种新的功能随机梯度马尔可夫链蒙特卡洛（SGMCMC）方案，能够在功能空间中生成更真实的后验样本。研究结果表明，该方法在准确性和不确定性量化方面优于现有的SGMCMC和功能变分推断方法，具有显著的应用潜力。
Sep, 2024