Feb, 2018

VIBNN: 贝叶斯神经网络的硬件加速

PDF
TL;DR本文提出了 VIBNN，一种基于 FPGA 的 BNN 硬件加速器设计，用于解决 BNNs 中的模型不确定性，实现小数据训练；通过深度流水线加速器体系结构实现高伸缩性和高效的内存访问，并提出了两种高性能的 Gaussian 随机数生成器。实验结果表明，所提出的 VIBNN 实现在 FPGA 上能够实现高吞吐量和能效，同时保持与软件实现相似的准确性。
bayesian neural networksvariational inferencefpga-based hardware accelerator designgaussian random number generatorsmall-data training
发现论文，激发创造
  • 鲁棒贝叶斯神经网络的确定性变分推断

    本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。

    Oct, 2018

  • 数据流的向量量化贝叶斯神经网络推理

    本研究提出了一种名为 VQ-BNN 的新模型，可以快速准确预测数据流的预测结果，同时避免了通常 Bayes 网络需要耗费大量计算资源的问题。

    Jul, 2019

  • 基于径向函数的贝叶斯神经网络：在大规模贝叶斯深度学习中突破离散支持限制

    我们提出了径向贝叶斯神经网络（Radial Bayesian Neural Networks，简称 Radial BNNs）: 一种变分后验的 BNNs，它适用于大型模型而仍然保持对权重空间的完全支持的分布。与其他可扩展的贝叶斯深度学习方法不同，如 MC dropout 或深度集合，Radial BNNs 的全面支持使它们适用于顺序推理的先验。此外，它们解决了具有离散支持的权重分布的先验不合理性的概念性挑战。通过使用 Radial BNNs 作为相对于 MFVI (稳定均场方差近似) 的一种理论上合理、稳健的替代方案，我们在贝叶斯连续学习评估中取得了重大进展。

    Jul, 2019

  • 功能变分贝叶斯神经网络

    该研究提出了一种称为 fBNN 的函数变分贝叶斯神经网络，该网络使用随机过程来定义 ELBO，可以指定包含丰富结构的先验分布，提供可靠的不确定性估计并适用于大型数据集。

    Mar, 2019

  • 利用潜在二元变量和归一化流稀疏化贝叶斯神经网络

    本文介绍了使用本地重新参数化技巧（LRT）和归一化流在 LBBNN 方法的变分后验分布上的应用，以改进预测性能并获得更稀疏的网络，通过两个模拟研究证明这些贝叶斯方法的使用可以得到更为实际的预测不确定性估计。

    May, 2023

  • 在 FPGA 上增强基于 Dropout 的贝叶斯神经网络的多出口

    本文提出了一个算法和硬件协同设计框架，该框架可以为高效的基于 FPGA 的 Bayesian 神经网络生成加速器，以减少计算和内存负载，并实现更高的能源效率。

    Jun, 2024

  • 可再配置逻辑上二值神经网络的扩展

    该论文研究了如何在 BNN 网络中使用 padding 提高分类准确率的同时，仍然保持 1 位数据通路。作者展示了该方法的灵活性和可扩展性，并在 ADM-PCIE-8K5 平台上实现了大型 BNN 分类的快速和精确。

    Jan, 2017

  • 神经网络中的隐含权重不确定性

    该论文介绍了 Bayes by Hypernet，一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信，并且不能产生有意义的不确定性度量的短板，本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性，同时满足复杂度、可扩展性和准确度的要求。

    Nov, 2017

  • 任意非线性贝叶斯神经网络的小样本变分推断

    本研究通过仅使用 3 个确定性样本来传播统计矩，实现了对任意非线性网络层的统计矩传播，从而使得少样本变分推断成为可能，并将此方法应用于一种新的非线性激活函数，用于向 Bayesian 神经网络的输出节点注入物理先验信息。

    May, 2024

  • 贝叶斯递归神经网络

    使用变分贝叶斯方法和后向传播裁剪算法等对循环神经网络进行训练，大幅降低了参数数量和提高了贝叶斯逼近性能。在语言建模和图像描述等任务中，贝叶斯循环神经网络优于传统循环神经网络。

    Apr, 2017