EnforceSNN: 基于近似 DRAM 的嵌入式系统中实现具有韧性和节能的脉冲神经网络推理

Apr, 2023

EnforceSNN: 基于近似 DRAM 的嵌入式系统中实现具有韧性和节能的脉冲神经网络推理

EnforceSNN: Enabling Resilient and Energy-Efficient Spiking Neural Network Inference considering Approximate DRAMs for Embedded Systems

PDF

Rachmad Vidya Wicaksana Putra, Muhammad Abdullah Hanif, Muhammad Shafique

TL;DR本文提出了一种名为 EnforceSNN 的新型设计框架，通过降低 DRAM 供电电压，通过采用量化权重、高效的 DRAM 映射策略、分析神经网络容错性、开发高效的容错训练机制以及选择网络模型优化网络精度、内存和能量消耗等机制，实现在嵌入式系统中 SNN 推断的鲁棒能量效率，同时进行了实验验证。

Abstract

spiking neural networks (SNNs) have shown capabilities of achieving high accuracy under unsupervised settings and low operational power/energy due to their bio-plausible computations. Previous studies identified that DRAM-based off-chip memory accesses dominate the energy consumption o

spiking neural networks dram energy-per-access enforcesnn approximate dram energy efficiency gains

发现论文，激发创造

tinySNN：面向内存和能量高效的脉冲神经网络

该论文提出了 tinySNN 框架，可通过减少操作、优化学习质量、量化参数和选择合适的模型来在保持准确性的前提下，优化 SNN 处理的内存和能源需求，并且通过不同的量化方案、精度级别和舍入方案探索不同的 SNN 参数来实现模型压缩，从而实现对于资源和能源受限的嵌入式应用的高精度高效压缩。

Jun, 2022

Q-SNNs: 量化尖峰神经网络

我们介绍了一种轻量级和硬件友好的量化 SNN（Q-SNN），该方法对突触权重和膜电位进行量化，显著减少内存使用和计算复杂性，提出了一种受信息熵理论启发的新的权重 - 脉冲双重调节（WS-DR）方法，实验证明我们的 Q-SNN 在模型大小和准确性方面优于现有方法，这些在效率和功效方面的最新成果表明该方法可以显着改善边缘智能计算。

Jun, 2024

RescueSNN：在永久性故障下使脉冲神经网络加速器可靠执行

介绍了使用专用硬件以提高 Spiking Neural Network 的性能和能源效率，但由于永久性故障可能会损坏权重存储器和神经元行为，导致系统故障和精度下降。提出了一种名为 RescueSNN 的新方法来解决这个问题，该方法通过有效的故障感知映射（FAM）和轻量级硬件增强实现 SNN 故障容错，从而显著降低了设计时间和重新训练成本，同时保持吞吐量和质量。实验结果显示，相比于没有进行 EEC 诊断和修复的芯片运行 SNN，使用 RescueSNN 可以提高精度并降低吞吐量的下降。

Apr, 2023

一种支持新兴神经编码的资源高效脉冲神经网络加速器

该研究提出了一种新型硬件体系结构，可支持具有新型神经编码的 SNN，并在 FPGA 上对 VGG 神经网络模型进行了部署，从而实现了 25％的功耗和 90％的延迟改善。

Jun, 2022

生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

Dec, 2023

AutoSNN: 实现能效高的脉冲神经网络

通过定义一个无不良设计选择的搜索空间并引入考虑准确性和脉冲数量的适应性函数，我们提出一种称为 AutoSNN 的脉冲感知神经架构搜索框架，成功搜索出了在准确性和能量效率方面优于手工设计的 SNN 的架构。

Jan, 2022

HyperSNN：一种用于资源受限控制应用的高效稳健深度学习模型

在边缘计算领域的智能家具、机器人和智能家居等领域日益普及的背景下，本文介绍了 HyperSNN，这是一种将脉冲神经网络（SNNs）与超维计算相结合的创新控制任务方法。HyperSNN 通过将昂贵的 32 位浮点乘法替换为 8 位整数加法，降低能源消耗的同时增强了鲁棒性并可能提高准确性。我们的模型在包括 Cartpole、Acrobot、MountainCar 和 Lunar Lander 在内的 AI Gym 基准测试中进行了测试。HyperSNN 在控制精度上与传统机器学习方法相当，但仅使用了 1.36% 到 9.96% 的能量消耗。此外，我们的实验显示 HyperSNN 具有更强的鲁棒性。我们认为 HyperSNN 特别适用于交互式、移动和可穿戴设备，促进了能效和鲁棒系统设计的发展。此外，它为在实际工业场景中实现复杂算法如模型预测控制（MPC）铺平了道路。

Aug, 2023

双相优化下实现超低延迟无损 ANN-SNN 转换

本论文提出一种双相转换算法，通过减少量化误差、裁剪误差和残余膜电势表示误差来提高深度脉冲神经网络（SNN）的准确性，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上表现出与人工神经网络（ANNs）相当的准确性和更低的能源消耗。

May, 2022

使用精心设计的输入噪声训练深度脉冲神经网络，发挥其固有鲁棒性的潜力（HIRE-SNN）

本文研究低延迟深度脉冲神经网络克服对抗攻击的训练算法，通过在输入层引入精心设计的噪声，已有的模型仅需进行微调即可达到防御攻击的效果，同时在分类性能、时延和计算能耗方面表现出色。

Oct, 2021

高效内存可逆脉冲神经网络

我们提出可逆脉冲神经网络以降低训练过程中中间激活和膜电位的内存成本，通过实验证明我们的可逆 SNN 网络在网络深度上不增加每张图片的内存成本，并比现有模型在准确性和消耗的 GPU 内存方面表现更好。

Dec, 2023