可扩展、能效高和值得信赖的脉冲神经网络的最新进展：从算法到技术

Dec, 2023

可扩展、能效高和值得信赖的脉冲神经网络的最新进展：从算法到技术

Recent Advances in Scalable Energy-Efficient and Trustworthy Spiking Neural networks: from Algorithms to Technology

Souvik Kundu, Rui-Jie Zhu, Akhilesh Jaiswal, Peter A. Beerel

TL;DR神经形态计算及尤其是脉冲神经网络 (SNNs) 作为深度神经网络的一种有吸引力的替代方法，已广泛应用于处理来自不同感觉模态的静态和 / 或时间输入的信号处理应用。本文从算法和优化创新的最新进展开始，旨在高效训练和扩展低延迟、能源高效的复杂机器学习应用中的脉冲神经网络 (SNNs)。然后，我们讨论了算法 - 架构共设计方面的最新研究成果，探索在实现高能效和低延迟的同时仍提供高准确性和可信性之间的固有权衡。然后，我们描述了为有效利用这种算法创新而开发的基础硬件。尤其是，我们描述了一种混合方法，即在内存组件和传感器本身中整合模型计算的重要部分。最后，我们讨论了构建可部署 SNN 系统的研究前景，重点是算法 - 硬件 - 应用共设计领域的关键挑战，强调了可信性。

Abstract

neuromorphic computing and, in particular, spiking neural networks (SNNs) have become an attractive alternative to deep neural networks for a broad range of signal processing applications, processing static and/o

neuromorphic computing spiking neural networks algorithm-architecture co-design energy-efficiency trustworthiness

发现论文，激发创造

脉冲神经网络的最新进展和新前沿

本文从五个主要研究领域综述了脉冲神经网络（SNNs）的最新进展和新的前沿，其中包括关键元素（脉冲神经元模型、编码方法和拓扑结构）、神经形态数据集、优化算法、软件和硬件框架，我们希望这篇调查能帮助研究人员更好地了解 SNNs，并激发新的工作来推进这一领域。

Mar, 2022

低功耗神经形态处理硬件

本文回顾了构建新一类仿效人脑以时间编码和处理信息的信息处理引擎所涉及的一些体系结构和系统级设计方面，以解决能效问题。

Jan, 2019

具备反向残差连接、随机 Softmax 和混合化的可扩展、高效和准确的深度脉冲神经网络

本研究提出了使用逆向残差连接、随机 softmax 和混合人工和尖峰神经元激活的算法技术，以提高学习能力，并取得与传统深度学习 / 人工神经网络相媲美的准确性，同时在诸如 CIFAR10、Imagenet 等复杂视觉识别任务上实现了大幅度的能源效率和减少参数开销。

Oct, 2019

AutoSNN: 实现能效高的脉冲神经网络

通过定义一个无不良设计选择的搜索空间并引入考虑准确性和脉冲数量的适应性函数，我们提出一种称为 AutoSNN 的脉冲感知神经架构搜索框架，成功搜索出了在准确性和能量效率方面优于手工设计的 SNN 的架构。

Jan, 2022

一种支持新兴神经编码的资源高效脉冲神经网络加速器

该研究提出了一种新型硬件体系结构，可支持具有新型神经编码的 SNN，并在 FPGA 上对 VGG 神经网络模型进行了部署，从而实现了 25％的功耗和 90％的延迟改善。

Jun, 2022

自适应脉冲循环神经网络精确高效的时间域分类

本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

Mar, 2021

生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

Dec, 2023

神经形态硬件上机器学习工作量的高效部署

本文提供了一种将预先训练的深度神经网络 (DNNs) 转换成脉冲神经网络 (SNNs) 的通用指南，并介绍了一些在神经形态硬件上部署转换后的 SNNs 的技术，可显著改进其延迟，功耗和能耗。实验结果表明，与 Intel Neural Compute Stick 2 相比，使用我们的 SNN 改进技术， Intel 的神经形态处理器 Loihi 在测试的图像分类任务中功耗降低了最多 27 倍，能耗降低了最多 5 倍。

Oct, 2022

多时间尺度脉冲循环神经网络的高效计算

该研究介绍了一种新型自适应尖峰循环神经网络，能够在边缘人工智能硬件上实现比其他尖峰神经网络更高的性能，几乎达到或超过经典递归神经网络的性能，并展示了在更难的任务上超过经典递归神经网络的 $>$100 倍能量改进。

May, 2020

易于训练和稳健性能的时间编码深度脉冲神经网络

本文研究了脉冲神经网络的训练方法，将其应用于 CIFAR10 和 ImageNet 数据集中，并采用量化和扰动方式增强其稳健性，最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。

Sep, 2019