一种支持新兴神经编码的资源高效脉冲神经网络加速器

Jun, 2022

一种支持新兴神经编码的资源高效脉冲神经网络加速器

A Resource-efficient Spiking Neural Network Accelerator Supporting Emerging Neural Encoding

Daniel Gerlinghoff, Zhehui Wang, Xiaozhe Gu, Rick Siow Mong Goh, Tao Luo

TL;DR该研究提出了一种新型硬件体系结构，可支持具有新型神经编码的 SNN，并在 FPGA 上对 VGG 神经网络模型进行了部署，从而实现了 25％的功耗和 90％的延迟改善。

Abstract

spiking neural networks (SNNs) recently gained momentum due to their low-power multiplication-free computing and the closer resemblance of biological processes in the nervous system of humans. However, SNNs require very long spike trains (up to 1000) to reach an accuracy similar to the

spiking neural networks emerging neural encoding hardware architecture fpga neuromorphic hardware

发现论文，激发创造

SNN 和 CNN FPGA 实现的定量比较：是否使用尖峰？

本文研究卷积神经网络和脉冲神经网络在 FPGA 加速器上的性能和能量效率，探究 SNN 是否能实现减少能量要求等期望，结果发现在复杂的应用场景如 SVHN 和 CIFAR-10 上，SNN 的能量和效率优势并不明显，而在小规模 MNIST 等基准测试中，两者基本相当。

Jun, 2023

Spiker：面向脉冲神经网络的 FPGA 优化硬件加速

该研究开发了一种基于 Xilinx Artix-7 FPGA 的硬件加速器，用于高性能 Spiking Neural Networks 推理，评估了该加速器的推理能力，并与现有的加速器进行比较。

Jan, 2022

可扩展、能效高和值得信赖的脉冲神经网络的最新进展：从算法到技术

神经形态计算及尤其是脉冲神经网络 (SNNs) 作为深度神经网络的一种有吸引力的替代方法，已广泛应用于处理来自不同感觉模态的静态和 / 或时间输入的信号处理应用。本文从算法和优化创新的最新进展开始，旨在高效训练和扩展低延迟、能源高效的复杂机器学习应用中的脉冲神经网络 (SNNs)。然后，我们讨论了算法 - 架构共设计方面的最新研究成果，探索在实现高能效和低延迟的同时仍提供高准确性和可信性之间的固有权衡。然后，我们描述了为有效利用这种算法创新而开发的基础硬件。尤其是，我们描述了一种混合方法，即在内存组件和传感器本身中整合模型计算的重要部分。最后，我们讨论了构建可部署 SNN 系统的研究前景，重点是算法 - 硬件 - 应用共设计领域的关键挑战，强调了可信性。

Dec, 2023

使用优化效率和最小延迟的通用脉冲神经网络训练

提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

Jan, 2024

低功耗神经形态处理硬件

本文回顾了构建新一类仿效人脑以时间编码和处理信息的信息处理引擎所涉及的一些体系结构和系统级设计方面，以解决能效问题。

Jan, 2019

AutoSNN: 实现能效高的脉冲神经网络

通过定义一个无不良设计选择的搜索空间并引入考虑准确性和脉冲数量的适应性函数，我们提出一种称为 AutoSNN 的脉冲感知神经架构搜索框架，成功搜索出了在准确性和能量效率方面优于手工设计的 SNN 的架构。

Jan, 2022

神经形态硬件上机器学习工作量的高效部署

本文提供了一种将预先训练的深度神经网络 (DNNs) 转换成脉冲神经网络 (SNNs) 的通用指南，并介绍了一些在神经形态硬件上部署转换后的 SNNs 的技术，可显著改进其延迟，功耗和能耗。实验结果表明，与 Intel Neural Compute Stick 2 相比，使用我们的 SNN 改进技术， Intel 的神经形态处理器 Loihi 在测试的图像分类任务中功耗降低了最多 27 倍，能耗降低了最多 5 倍。

Oct, 2022

生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

Dec, 2023

脉冲神经网络的最新进展和新前沿

本文从五个主要研究领域综述了脉冲神经网络（SNNs）的最新进展和新的前沿，其中包括关键元素（脉冲神经元模型、编码方法和拓扑结构）、神经形态数据集、优化算法、软件和硬件框架，我们希望这篇调查能帮助研究人员更好地了解 SNNs，并激发新的工作来推进这一领域。

Mar, 2022

tinySNN：面向内存和能量高效的脉冲神经网络

该论文提出了 tinySNN 框架，可通过减少操作、优化学习质量、量化参数和选择合适的模型来在保持准确性的前提下，优化 SNN 处理的内存和能源需求，并且通过不同的量化方案、精度级别和舍入方案探索不同的 SNN 参数来实现模型压缩，从而实现对于资源和能源受限的嵌入式应用的高精度高效压缩。

Jun, 2022