Jun, 2022

tinySNN：面向内存和能量高效的脉冲神经网络

PDF
TL;DR该论文提出了 tinySNN 框架，可通过减少操作、优化学习质量、量化参数和选择合适的模型来在保持准确性的前提下，优化 SNN 处理的内存和能源需求，并且通过不同的量化方案、精度级别和舍入方案探索不同的 SNN 参数来实现模型压缩，从而实现对于资源和能源受限的嵌入式应用的高精度高效压缩。
snnmemory optimizationenergy efficiencyquantizationembedded applications
发现论文，激发创造
  • Q-SNNs: 量化尖峰神经网络

    我们介绍了一种轻量级和硬件友好的量化 SNN（Q-SNN），该方法对突触权重和膜电位进行量化，显著减少内存使用和计算复杂性，提出了一种受信息熵理论启发的新的权重 - 脉冲双重调节（WS-DR）方法，实验证明我们的 Q-SNN 在模型大小和准确性方面优于现有方法，这些在效率和功效方面的最新成果表明该方法可以显着改善边缘智能计算。

    Jun, 2024

  • AutoSNN: 实现能效高的脉冲神经网络

    通过定义一个无不良设计选择的搜索空间并引入考虑准确性和脉冲数量的适应性函数，我们提出一种称为 AutoSNN 的脉冲感知神经架构搜索框架，成功搜索出了在准确性和能量效率方面优于手工设计的 SNN 的架构。

    Jan, 2022

  • 生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

    通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

    Dec, 2023

  • 一种支持新兴神经编码的资源高效脉冲神经网络加速器

    该研究提出了一种新型硬件体系结构，可支持具有新型神经编码的 SNN，并在 FPGA 上对 VGG 神经网络模型进行了部署，从而实现了 25％的功耗和 90％的延迟改善。

    Jun, 2022

  • EnforceSNN: 基于近似 DRAM 的嵌入式系统中实现具有韧性和节能的脉冲神经网络推理

    本文提出了一种名为 EnforceSNN 的新型设计框架，通过降低 DRAM 供电电压，通过采用量化权重、高效的 DRAM 映射策略、分析神经网络容错性、开发高效的容错训练机制以及选择网络模型优化网络精度、内存和能量消耗等机制，实现在嵌入式系统中 SNN 推断的鲁棒能量效率，同时进行了实验验证。

    Apr, 2023

  • 通过核尺寸缩放提高嵌入式脉冲神经网络的准确性的方法论

    提出一种通过核尺寸缩放改善脉冲神经网络（SNNs）准确性的新方法，实现了比现有技术更高的准确性（对于 CIFAR10 为 93.24%，对于 CIFAR100 为 70.84%），同时具有小于 10M 参数和多达 3.45 倍的搜索时间加速，适用于嵌入式应用。

    Apr, 2024

  • 基于极小极大优化的稀疏神经网络资源受限模型压缩

    通过改进的端到端极值优化方法，我们在稀疏学习问题上更好地平衡了模型性能与计算效率，同时表明在各种基准数据集和架构上，联合压缩和微调脉冲神经网络 (SNNs) 比顺序压缩和微调更好，特别适用于极限压缩比。

    Aug, 2023

  • 使用优化效率和最小延迟的通用脉冲神经网络训练

    提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

    Jan, 2024

  • 双相优化下实现超低延迟无损 ANN-SNN 转换

    本论文提出一种双相转换算法，通过减少量化误差、裁剪误差和残余膜电势表示误差来提高深度脉冲神经网络（SNN）的准确性，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上表现出与人工神经网络（ANNs）相当的准确性和更低的能源消耗。

    May, 2022

  • 朝零内存占用的脉冲神经网络训练

    设计具有高准确性的可逆 SNN 节点以降低内存占用并利用算法来加速训练过程，从而减少训练时间。

    Aug, 2023