通过精确的梯度反向传播改进下采样，提高基于 Transformer 的突触型神经网络性能

May, 2023

通过精确的梯度反向传播改进下采样，提高基于 Transformer 的突触型神经网络性能

Enhancing the Performance of Transformer-based Spiking Neural Networks by Improved Downsampling with Precise Gradient Backpropagation

PDF

Chenlin Zhou, Han Zhang, Zhaokun Zhou, Liutao Yu, Zhengyu Ma...

TL;DR本文提出了 ConvBN-MaxPooling-LIF（CML）这种新型降采样方式以解决现有状态下深度脉冲神经网络（包括 Spikformer 和 Spikingformer）中梯度误差向后传播不准确的问题，并且在 ImageNet、CIFAR10、CIFAR100、CIFAR10-DVS、DVS128-Gesture 等数据集上验证 CML 显著提高模型性能，与 Spikingformer 比较，例如在 ImageNet，CIFAR10-DVS 上分别可以增加 1.79%，81.4% 的性能。

Abstract

deep spiking neural networks (SNNs) have drawn much attention in recent years because of their low power consumption, biological rationality and event-driven property. However, state-of-the-art deep SNNs (including Spikformer and Spikingformer) suffer from a critical challenge related

deep spiking neural networks gradient backpropagation downsampling modules convbn-maxpooling-lif performance

发现论文，激发创造

Spikingformer：基于脉冲的剩余学习用于基于 Transformer 的脉冲神经网络

本研究提出了一种硬件友好的、基于残差设计的、全新的、纯变压器型脉冲神经网络 ——Spikingformer，它能够避免非脉冲计算并使能耗降低 60.34％。Spikingformer 在图像分类任务的表现优于之前的纯 SNN，并且是首次开发出全脉冲驱动的变压器型 SNN。

Apr, 2023

深度 SNN 中最大池化操作的脉冲逼近

本文介绍了两种硬件友好的方法来在深度脉冲神经网络中实现 Max-Pooling，并在 Intel 的 Loihi 神经形态硬件上执行 SNNs，证明了我们的方法的可行性。

May, 2022

高效深度脉冲多层感知机：无乘法推理

我们提出了一种新型 SNN MLP 架构，使用批归一化保留 MFI 兼容性，并引入针对强化本地特征提取能力的尖峰编码层，有效地结合全局感受野和本地特征提取进行综合基于脉冲的计算，实现了在 ImageNet-1K 数据集上具有 66.39％的 Top-1 准确度，而不依赖预训练或复杂的 SNN 培训技术。

Jun, 2023

针对神经形态应用优化突触神经网络的能耗消耗

该文介绍了将卷积神经网络转化为脉冲神经网络的方法，并探讨了量化感知的训练及优化策略对于能效的影响，实验表明转换后的网络在维持相似准确率的情况下具有更低的能量消耗。

Dec, 2019

基于脉冲卷积神经网络中的尖峰时间位移误差反向传播

本文在先前提出的 STiDi-BP 算法基础上，使用线性逼近计算膜电位对尖峰潜伏期的导数，采用分段线性的 postsynaptic potential 的尖峰神经元来减少计算成本和神经处理的复杂度，并将其扩展到更深的 SNN 与卷积架构中，同时考虑到降低存储量和计算成本，使用二进制权重的卷积 SNN 在 MNIST 和 Fashion-MNIST 数据集上具有近似真实值权重的性能。

Aug, 2021

深入研究直接训练更大尺寸的脉冲神经网络

提出了一种基于阈值相关批归一化（tdBN）和空间时间反向传播（STBP）的方法，可直接训练深度脉冲神经网络（SNN），并在神经形态硬件上实现其推理，单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率，是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。

Oct, 2020

使用优化效率和最小延迟的通用脉冲神经网络训练

提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

Jan, 2024

模拟到脉冲卷积神经网络的转换理论与工具

研究论文提出了一种将深度卷积神经网络（CNNs）转化为深度脉冲神经网络（SNNs）的新方法，并将该方法运用于常见的 CNN 操作（如最大池化、softmax 和批量归一化）的实现上，在实验中，该方法在 MNIST 和 CIFAR10 基准测试中表现出了迄今为止最佳的 SNN 结果。

Dec, 2016

具备反向残差连接、随机 Softmax 和混合化的可扩展、高效和准确的深度脉冲神经网络

本研究提出了使用逆向残差连接、随机 softmax 和混合人工和尖峰神经元激活的算法技术，以提高学习能力，并取得与传统深度学习 / 人工神经网络相媲美的准确性，同时在诸如 CIFAR10、Imagenet 等复杂视觉识别任务上实现了大幅度的能源效率和减少参数开销。

Oct, 2019

Spikeformer：一种用于训练高性能低延迟脉冲神经网络的新型结构

提出了一种基于 Transformer 的 Spikeformer 方法，它在静态数据集和神经形态数据集上均优于其人工神经网络对应物。为了更好地将注意力机制整合到 Transformer 中，并融合内在于 SNN 的时空信息，采用时空注意力机制。

Nov, 2022