稀疏脉冲神经网络：利用时间尺度异质性进行修剪循环 SNN

ICLRMar, 2024

稀疏脉冲神经网络：利用时间尺度异质性进行修剪循环 SNN

Sparse Spiking Neural Network: Exploiting Heterogeneity in Timescales for Pruning Recurrent SNN

Biswadeep Chakraborty, Beomseok Kang, Harshit Kumar, Saibal Mukhopadhyay

TL;DR通过引入新颖的 Lyapunov Noise Pruning (LNP) 算法和利用各类散度来设计一个稳定的、计算效率高的、适用于不同任务的稀疏的异质 RSNN 模型，本文展示了相对于传统的基于活性剪枝的方法，该任务无关的方法可以增加 RSNN 的计算效率和预测性能。

Abstract

recurrent spiking neural networks (RSNNs) have emerged as a computationally efficient and brain-inspired learning model. The design of sparse rsnns with fewer neurons and synapses helps reduce the computational c

recurrent spiking neural networks sparse rsnns lyapunov noise pruning heterogeneous rsnn computational efficiency

发现论文，激发创造

异质神经元和突触动力学实现高效率自主学习：理论与设计原则

本文研究证明神经元和突触动态的异质性可以降低复杂神经网络的射击活动并提高预测性能，在无监督的学习中实现高效的射击，提高了神经网络的内存容量和分类预测性能。

Feb, 2023

异质性循环尖峰神经网络用于时空分类

本文提出了一种具有异构性的回归尖峰神经网络（HRSNN），用于 RGB 和事件数据集（DVS128 手势）上的时空分类视频活动识别任务的非监督学习。 HRSNN 的关键创新点是具有具有不同发射 / 松弛动力学的异构神经元的回归层，它们通过具有不同学习动力学的异构尖峰依赖可塑性（STDP）训练。我们证明了这种新颖方法在架构和学习方法上的组合优于当前同质性尖峰神经网络，进一步表明 HRSNN 可以实现与现有的基于后向传播训练的监督式 SNN 相似的性能，但使用更少的计算和更少的训练数据。

Sep, 2022

脉冲神经元网络中的长短时记忆和学习 - to-learn

研究了如何通过深度学习将适应性神经元包含在递归脉冲神经元网络（RSNNs）中，从而优化网络结构，实现知识迁移和在少数示例中进行学习、手段是 BPTT 算法。

Mar, 2018

基于脉冲活动修剪的高效深度脉冲神经网络构建

基于脉冲神经网络（SNN）的结构稀疏化，提出了一种基于卷积核活动水平的结构删减方法，通过动态调整网络结构使其更适应当前目标任务，提高模型的适应性、降低计算负载和加速推理过程。

Jun, 2024

自适应稀疏结构的剪枝和再生在脉冲神经网络中的应用

本文提出了一种适应性结构发展的 SNN 方法，引入树突棘突触可塑性、神经元修剪和突触再生，通过神经元修剪、突触限制和突触再生等机制，检测和移除了 SNN 的大量冗余，实现了优化压缩并降低网络能耗。在实验中表明，该方法可以在不同任务中学习适当的压缩率并显著降低网络能耗。

Nov, 2022

多时间尺度脉冲循环神经网络的高效计算

该研究介绍了一种新型自适应尖峰循环神经网络，能够在边缘人工智能硬件上实现比其他尖峰神经网络更高的性能，几乎达到或超过经典递归神经网络的性能，并展示了在更难的任务上超过经典递归神经网络的 $>$100 倍能量改进。

May, 2020

用于训练深度递归脉冲神经网络的脉冲序列级反向传播

本文介绍了一种用于训练深度 recurrent spiking neural networks 的新算法：Spike-Train level RSNNs Backpropagation (ST-RSBP)。该算法通过直接计算网络输出层中定额编码的 loss function 相对可调参数的梯度来训练 RSNNs，在 TI46、N-TIDIGITS、Fashion-MNIST 和 MNIST 等数据集上都表现出了优于当前最先进的 SNN BP 算法和传统的非 spiking 深度学习模型的准确性。

Aug, 2019

通过神经元选择对递归神经网络进行结构化剪枝

通过神经元选择的结构化剪枝方法，可以通过减小基本结构的尺寸来减少 RNN 的存储和计算成本，并利用 L0 范数优化，取得了语言建模等任务上的优异表现。

Jun, 2019

自适应脉冲循环神经网络精确高效的时间域分类

本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

Mar, 2021

SparseProp: 稀疏循环脉冲神经网络的高效事件驱动仿真与训练

本研究提出了一种名为 SparseProp 的新颖的基于事件的算法，用于模拟和训练稀疏的脉冲神经网络，并通过每个网络脉冲将前向传递和反向传递的计算复杂度从 O (N) 降低到 O (log (N))，从而实现了大规模脉冲网络的准确模拟和高效训练。

Dec, 2023