Jun, 2024

面向 FPGA 的硬件感知神经网络丢弃搜索用于可靠的不确定性预测

PDF
TL;DR提出了一种新的神经随机丢失搜索框架，旨在自动优化既有基于 dropout 的 Bayesian 神经网络及其硬件 FPGA 实现，实验结果表明该框架能够有效地找到 Pareto 最优设计配置。
artificial intelligencetrustworthy aiuncertainty estimationbayesian neural networksdropout optimization
发现论文，激发创造
  • 在 FPGA 上增强基于 Dropout 的贝叶斯神经网络的多出口

    本文提出了一个算法和硬件协同设计框架，该框架可以为高效的基于 FPGA 的 Bayesian 神经网络生成加速器，以减少计算和内存负载，并实现更高的能源效率。

    Jun, 2024

  • 当蒙特卡罗 Dropout 遇到多出口：在 FPGA 上优化贝叶斯神经网络

    本研究提出了一种新颖的多出口 Monte-Carlo Dropout（MCD）Bayesian 神经网络，实现了具有低算法复杂度的良好校准预测。此外，我们还提出了一个转换框架，可为多出口 MCD BayesNN 生成基于 FPGA 的加速器，以进一步降低采用 BayesNNs 的障碍。通过引入几种新颖的优化技术，我们的实验表明，我们的自动生成的加速器比 CPU、GPU 和其他最先进的硬件实现具有更高的能量效率。

    Aug, 2023

  • 基于蒙特卡洛失活的贝叶斯神经网络施行旋转电子学测试

    Bayesian Neural Networks (BayNNs) and uncertainty estimation in spintronics-based computation-in-memory architectures are analyzed with a focus on the reliability of Dropout generation and BayNN computation, proposing a testing framework for Dropout-based BayNN with high fault coverage and minimal training data usage.

    Jan, 2024

  • 规模 - 丢弃：使用随机规模估计深度神经网络中的不确定性

    在本论文中，我们提出了一种用于二元神经网络（BNNs）的新型正则化技术 —— 比例 Dropout（Scale Dropout），以及基于蒙特卡罗比例 Dropout（MC-Scale Dropout）的 Bayesian NNs，用于有效地估计不确定性。我们引入了一种基于自旋电子存储器的计算内存（CIM）架构，相比最先进技术可实现超过 100 倍的能量节省。我们验证了我们的方法，结果显示相对于相关工作，我们的方法在预测性能上有 1% 的改进，并提供了更优的不确定性估计。

    Nov, 2023

  • Dropout 作为贝叶斯近似：在深度学习中表示模型不确定性

    本研究发展了一种新的理论框架，将深度神经网络的 dropout 训练视为深高斯过程中的近似贝叶斯推断。我们的理论框架使我们能够通过 dropout 神经网络建模不确定性，从而解决了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试精度。

    Jun, 2015

  • 贝叶斯神经网络的模型架构调整

    本文提出一种新颖的网络架构搜索 (NAS) 方法，用于优化 Bayesian 神经网络（BNN）的精度和不确定性，同时减少推理延迟。与传统的 NAS 不同，该方法使用来自内部和外部分布的数据搜索模型的不确定性性能，从而可以在网络中搜索贝叶斯层的正确位置，并且相对于流行的 BNN 基线，使用的运行时仅为其一小部分，将推理运行时成本分别与 MCDropout 和 deep ensemble 相比在 CIFAR10 数据集上分别降低了 2.98 倍和 2.92 倍。

    Feb, 2022

  • BayesFT: 基于贝叶斯优化的容错神经网络架构

    本文提出了使用贝叶斯优化来提高深度神经网络抗重量漂移性能的方法，并使用 dropout 来提高网络的鲁棒性。实验结果表明该方法在各种任务（例如图像分类和目标检测）中优于现有技术。

    Sep, 2022

  • 深度学习中可扩展高效的不确定性估计和降低方法

    部署神经网络在资源受限的安全关键系统中面临不确定性和硬件非理想性所带来的挑战，该研究论文总结了一项 (四年级) 博士论文工作，该工作探索了深度学习中可扩展和高效的方法，包括计算内存 (Computation-in-Memory) 使用新兴的阻性非挥发性存储器来估计和降低不确定性。我们采用问题感知训练算法、新颖的神经网络拓扑结构和硬件协同设计解决方案，包括基于自旋电子器件的基于退化的二值贝叶斯神经网络和变分推理技术。这些创新显著提高了异常数据检测、推理准确性和能量效率，从而增加了神经网络实现的可靠性和鲁棒性。

    Jan, 2024

  • Spatial-SpinDrop: 基于空间 dropout 的二进制贝叶斯神经网络及自旋电子学实现

    本篇论文介绍了一种采用 MC-SpatialDropout 技术的空间 dropout 的 BayNNs 方法，该方法使用尺度剪枝和自旋体制，以降低硬件成本和能耗，并且在有效降低能源消耗的前提下保持了较高的准确性。

    Jun, 2023

  • AI - 边缘设备下多智能体分布式学习的不确定性估计

    利用 FPGAs 和 AI 加速器，边缘物联网设备实现了计算能力的大幅提升，研究探讨了通过 AI 设备实现分布式数据处理的方法，并提出了在分布式学习环境中管理不确定性的一种新方法，即贝叶斯神经网络。

    Mar, 2024