任意非线性贝叶斯神经网络的小样本变分推断
本研究提出了一种基于 “尖峰协方差矩阵” 的更加原理性的方差传播框架,可在质量和推理时间之间平滑插值,使得贝叶斯神经网络能够在之前无法触及的性能关键任务领域中使用。
Nov, 2023
本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具:一种新的确定性方法用于逼近神经网络的矩,消除了梯度方差;一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来,所得到的方法高效而稳健,在异方差回归应用中表现出了很好的预测性能。
Oct, 2018
本研究提出一种对轻量级贝叶斯神经网络(BNN)进行抽样无关变分推断的简单框架,通过将异方差预测不确定性和经验差异嵌入到学习得到的 BNN 参数的方差中,提高了预测性能。
Feb, 2024
本研究旨在利用模型不确定性作为 BNN 结构学习的框架,提出了可与模型空间约束结合的可扩展变分推理方法,试图在模型和参数的联合空间中进行推理,进而实现结构和参数不确定性的组合,并在基准数据集上进行了实验,表明使方法比普通 Bayesian neural networks 更加稀疏,但得到了与竞争模型相当的精度结果。
May, 2023
通过研究两种常见的变分方法,该文证明了在低不确定性区域之间不存在过多信息增加的情况,并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布,但发现了类似于单隐层 ReLU 情况的病理现象。
Sep, 2019
本文介绍了使用本地重新参数化技巧(LRT)和归一化流在 LBBNN 方法的变分后验分布上的应用,以改进预测性能并获得更稀疏的网络,通过两个模拟研究证明这些贝叶斯方法的使用可以得到更为实际的预测不确定性估计。
May, 2023
提出一种新的 Bayesian 深度学习方案,使用 collapsed samples 进行贝叶斯模型平均,从而平衡神经网络的可扩展性和准确性,并利用现有的体积计算求解器解决选取部分权重采样,从而达到提高样本效率的目的,并在各种回归和分类任务中实现了显着的改进,推动了不确定性预测和预测性能的新水平。
Jun, 2023
我们提出了一种快速的非迭代近似推理方法,通过前馈网络实现从变分后验进行有效精确抽样,该方法通过应用几种直观的模型独立方差减少技术,优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法,并取得了最新成果。
Jan, 2014
该研究提出了一种称为 fBNN 的函数变分贝叶斯神经网络,该网络使用随机过程来定义 ELBO,可以指定包含丰富结构的先验分布,提供可靠的不确定性估计并适用于大型数据集。
Mar, 2019
该论文介绍了 Bayes by Hypernet,一种新的变分逼近方法,通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信,并且不能产生有意义的不确定性度量的短板,本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性,同时满足复杂度、可扩展性和准确度的要求。
Nov, 2017