具有伯努利近似变分推断的贝叶斯卷积神经网络
本文提出了一种使用卷积神经网络实现的关于具有随机偏微分方程的不确定性建模的代理模型,该方法使用变分梯度下降算法对参数进行“近似贝叶斯推断”,可以在处理不确定性时实现和其他方法相比具有最先进的预测精度和不确定性量化,即使训练数据量相对较小,也能获得非常好的性能。
Jan, 2018
通过对Softplus函数的输出进行归一化,我们为具有变分推断的贝叶斯卷积神经网络引入了一种新的分类任务的不确定性估计方法。我们展示了这种可靠的变分推断方法如何作为各种网络架构的基本构造,并在多个数据集(MNIST,CIFAR-10,CIFAR-100)中的监督学习设置中实现与同一架构的频率主义推断相同的性能。
Jun, 2018
本文提出了基于贝叶斯卷积神经网络的变分推断方法,通过引入欠拟合和过拟合的概率分布来解决神经网络普遍存在的预测不确定性问题,并在图像分类等任务上进行了实验测试。
Jan, 2019
我们提出了径向贝叶斯神经网络(Radial Bayesian Neural Networks,简称Radial BNNs):一种变分后验的BNNs,它适用于大型模型而仍然保持对权重空间的完全支持的分布。与其他可扩展的贝叶斯深度学习方法不同,如MC dropout或深度集合,Radial BNNs的全面支持使它们适用于顺序推理的先验。此外,它们解决了具有离散支持的权重分布的先验不合理性的概念性挑战。通过使用Radial BNNs作为相对于MFVI(稳定均场方差近似)的一种理论上合理、稳健的替代方案,我们在贝叶斯连续学习评估中取得了重大进展。
Jul, 2019
通过引入支持[0,1]值的单参数分布——连续伯努利分布,修补了现有VAE模型中像素数据类型不匹配的严重问题,该分布在多种度量和数据集上均产生了有意义的性能改进,包括更清晰的图像样本和更广泛的VAE类。
Jul, 2019
本文提出了一种基于贝叶斯推断的神经网络未来预测方法,该方法通过对ReLU网络权重进行近似高斯分布的理论分析和实验验证,同时发现了使用简单的贝叶斯近似方法可以解决ReLU网络的过度自信问题。
Feb, 2020
文章中提出了一种基于秩-1的参数化的贝叶斯神经网络和混合近似后验的方法,结合了深度集成和贝叶斯神经网络的优点,提供了一种有效的处理当前深度学习中不确定性和鲁棒性问题的方法。实验表明,在ImageNet、CIFAR-10/100和MIMIC-III中,秩-1 BNNs在测试集上取得了最先进的性能。
May, 2020
本文讨论贝叶斯神经网络在图片分类上的应用,发现此类应用使用的是错误的似然度。作者开发了一个描述“筛选”过程的生成模型,并与之前使用的调整后的后验概率似然度进行了基于贝叶斯思想的对比。
Aug, 2020
提出一种新颖的变分结构近似方法(VSD),它通过引入正交变换来学习可信复杂度的变分高斯噪声上的结构表示,并在近似后验中引入统计依赖性来解决Variational Dropout方法的问题,从而提高了先前Variational dropout方法的拟合精度和更好的泛化性能。
Feb, 2021