Jan, 2024

Spiker+: 边缘推理用高效 Spiking 神经网络 FPGA 加速器生成框架

PDF
TL;DRSpiker + 是一个在 FPGA 上生成高效、低功耗、低面积的定制化脉冲神经网络（SNN）加速器的综合框架，在边缘进行推断。它通过配置多层硬件 SNN、高效的神经元架构库和设计框架，以极少量的 Python 代码开发复杂的神经网络加速器。使用 MNIST 和 SHD 两个基准数据集进行测试，Spiker + 在 MNIST 上表现出与最先进的 SNN 加速器相媲美的性能，资源分配需求为 7,612 个逻辑单元和 18 个 Block RAMs，并且在处理一张输入图像的完整推断过程中仅消耗 180mW 的功耗。与最先进的加速器相比，延迟相当，为 780 微秒 / 图像。据作者所知，Spiker + 是在 SHD 上进行测试的第一个 SNN 加速器，资源需求为 18,268 个逻辑单元和 51 个 BRAM，功耗为 430mW，并且在处理输入数据的完整推断过程中延迟为 54 微秒。这凸显了 Spiker + 在硬件加速的 SNN 领域的重要性，使其成为在资源和功耗受限的边缘应用中部署可配置和可调节的 SNN 架构的绝佳解决方案。
artificial neural networksembedded systemsspiking neural networksfpga acceleratorsedge applications
发现论文，激发创造
  • Spiker：面向脉冲神经网络的 FPGA 优化硬件加速

    该研究开发了一种基于 Xilinx Artix-7 FPGA 的硬件加速器，用于高性能 Spiking Neural Networks 推理，评估了该加速器的推理能力，并与现有的加速器进行比较。

    Jan, 2022

  • SpikeExplorer：基于硬件的 FPGA 脉冲神经网络设计空间探索

    使用 SpikExplorer，利用硬件导向的自动设计空间探索来优化 SNNs，以增加硬件资源效率，减少功耗，并提供多种目标优化选项。在三个基准数据集上展示了 SpikExplorer 的潜力，实现了 95.8% 的准确率，每个图像功耗为 180mW，延迟为 0.12ms，成为自动优化 SNNs 的强大工具。

    Apr, 2024

  • 一种支持新兴神经编码的资源高效脉冲神经网络加速器

    该研究提出了一种新型硬件体系结构，可支持具有新型神经编码的 SNN，并在 FPGA 上对 VGG 神经网络模型进行了部署，从而实现了 25％的功耗和 90％的延迟改善。

    Jun, 2022

  • SNN 和 CNN FPGA 实现的定量比较：是否使用尖峰？

    本文研究卷积神经网络和脉冲神经网络在 FPGA 加速器上的性能和能量效率，探究 SNN 是否能实现减少能量要求等期望，结果发现在复杂的应用场景如 SVHN 和 CIFAR-10 上，SNN 的能量和效率优势并不明显，而在小规模 MNIST 等基准测试中，两者基本相当。

    Jun, 2023

  • SpikingJelly: 一个面向脉冲智能的开源机器学习基础设施平台

    该研究论文介绍了 SpikingJelly 框架，它是一个全套工具包，用于预处理神经形态学数据集、构建深度 SNN、优化其参数并将其部署到神经形态芯片。通过 SpikingJelly 框架，深度 SNN 的训练速度可以加快 11 倍，且其卓越的可扩展性和灵活性使用户能够以较低成本通过多级继承和半自动代码生成加速定制模型。SpikingJelly 为合成真正高能效的基于 SNN 的机器智能系统铺平了道路，丰富了神经形态计算的生态系统。

    Oct, 2023

  • DeepFire2：一种基于 FPGAs 的卷积脉冲神经网络加速器

    DeepFire2 是一种新型的硬件架构，能够在多个逻辑区域上高效地映射大型网络层，大大提高了吞吐量和能源利用率，同时避免了查找表对 SNN 逻辑资源的限制，能够部署大型的 ImageNet 模型，保持每秒超过 1500 帧的吞吐量。

    May, 2023

  • Spikeformer：一种用于训练高性能低延迟脉冲神经网络的新型结构

    提出了一种基于 Transformer 的 Spikeformer 方法，它在静态数据集和神经形态数据集上均优于其人工神经网络对应物。为了更好地将注意力机制整合到 Transformer 中，并融合内在于 SNN 的时空信息，采用时空注意力机制。

    Nov, 2022

  • Spikingformer：基于脉冲的剩余学习用于基于 Transformer 的脉冲神经网络

    本研究提出了一种硬件友好的、基于残差设计的、全新的、纯变压器型脉冲神经网络 ——Spikingformer，它能够避免非脉冲计算并使能耗降低 60.34％。Spikingformer 在图像分类任务的表现优于之前的纯 SNN，并且是首次开发出全脉冲驱动的变压器型 SNN。

    Apr, 2023

  • 基于脉冲神经网络的嵌入式事件驱动目标检测

    利用 SPLEAT 加速器的嵌入式神经形态测试台成功地在可嵌入设备上训练、评估、量化和部署了脉冲神经网络，通过加载最新的神经网络解决方案，估计了在专门设计的低功耗脉冲神经网络硬件上部署网络所带来的性能损失，并在神经形态硬件上实现了真实世界的基于事件的目标检测，令人惊叹的是，具有 108 万参数的嵌入式脉冲解决方案每个预测只需消耗 490 mJ。

    Jun, 2024

  • Spyx：用于脉冲神经网络的即时编译优化的库

    人工智能在现代社会中的作用日益重要，高效训练和部署深度神经网络成为关注的重点之一。脉冲神经网络（SNNs）通过利用时间稀疏计算提供了提高能源效率的方法，但其训练由于其循环性质而具有一定挑战性。本文介绍了 Spyx，这是一个基于 JAX 设计的新型轻量级 SNN 模拟和优化库，通过在现代加速器的扩展 vRAM 中进行预存数据，并采用大量的即时编译，Spyx 使得 SNN 优化能够作为统一的低级程序在 NVIDIA GPU 或 Google TPU 上执行，实现了最佳的硬件利用率，并在保持相当灵活性的同时超越了许多现有的 SNN 训练框架的性能。

    Feb, 2024