该论文提出了 Bayesian quantized 网络(BQN),并引入了一系列有效算法,用于在离散参数上学习和预测,实现了对图像分类的有效完成。
Dec, 2019
本研究旨在利用模型不确定性作为 BNN 结构学习的框架,提出了可与模型空间约束结合的可扩展变分推理方法,试图在模型和参数的联合空间中进行推理,进而实现结构和参数不确定性的组合,并在基准数据集上进行了实验,表明使方法比普通 Bayesian neural networks 更加稀疏,但得到了与竞争模型相当的精度结果。
May, 2023
本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具:一种新的确定性方法用于逼近神经网络的矩,消除了梯度方差;一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来,所得到的方法高效而稳健,在异方差回归应用中表现出了很好的预测性能。
Oct, 2018
本研究通过对 10 种常见的推断方法在回归和分类任务中的预测不确定性估计结果进行实证比较,发现常用的指标可能会导致误导,并表明为了得到高质量的后验逼近并不一定需要具有捕获后验结构的推断创新。
Jun, 2019
使用物理知识指导的贝叶斯神经网络(BNNs)进行材料预测,可实现准确的失效寿命预测和不确定性估计,提供决策依据。
Nov, 2023
本文提出了一种通过闭合式贝叶斯推断方法来学习贝叶斯神经网络的新方法,其中将预测分布的计算和权重分布的更新建模为贝叶斯滤波和平滑问题,并通过将权重建模为高斯随机变量的方法,使网络参数的训练具有连续性且无需梯度下降优化方法。该方法在多个 UCI 数据集上进行了演示,并与现有技术进行了比较。
Oct, 2021
本文提出了 VIBNN,一种基于 FPGA 的 BNN 硬件加速器设计,用于解决 BNNs 中的模型不确定性,实现小数据训练;通过深度流水线加速器体系结构实现高伸缩性和高效的内存访问,并提出了两种高性能的 Gaussian 随机数生成器。实验结果表明,所提出的 VIBNN 实现在 FPGA 上能够实现高吞吐量和能效,同时保持与软件实现相似的准确性。
Feb, 2018
本研究通过仅使用 3 个确定性样本来传播统计矩,实现了对任意非线性网络层的统计矩传播,从而使得少样本变分推断成为可能,并将此方法应用于一种新的非线性激活函数,用于向 Bayesian 神经网络的输出节点注入物理先验信息。
May, 2024
通过选择性地通过梯度敏感性分析评估确定性显著性,本研究引入了对稀疏(部分)贝叶斯网络的训练过程。通过将确定性参数与贝叶斯参数相结合,充分利用两种表示的优点,实现了高效的特定任务性能和最小化的预测不确定性。在多标签 ChestMNIST 分类和 ISIC、LIDC-IDRI 分割任务上表现出了有竞争力的性能和预测不确定性估计,相比完全贝叶斯化和集合方法,能够显著减少 95% 以上贝叶斯参数,从而大大降低计算开销。
Jun, 2024
本研究介绍贝叶斯神经网络的实现方法,比较不同的近似推理方法,探讨如何在当前方法的基础上改进未来研究。
Jun, 2020