基于脉冲表示的微分训练高性能低延迟脉冲神经网络

CVPRMay, 2022

基于脉冲表示的微分训练高性能低延迟脉冲神经网络

Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation

Qingyan Meng, Mingqing Xiao, Shen Yan, Yisen Wang, Zhouchen Lin...

TL;DR本文提出了一种 Differentiation on Spike Representation (DSR) 方法，利用加权频率编码将射击轨迹编码为射击表示，然后通过对子可微映射的梯度进行 SNN 训练，避免了 SNN 训练中常见的非可微性问题，该方法在静态和神经形态数据集上具有低延迟和最先进的 SNN 性能。

Abstract

spiking neural network (SNN) is a promising energy-efficient AI model when implemented on neuromorphic hardware. However, it is a challenge to efficiently train SNNs due to their non-differentiability. Most exist

spiking neural network differentiation on spike representation dsr method neuromorphic hardware low latency

发现论文，激发创造

使用反向传播训练深度脉冲神经网络

该论文介绍了一种新技术，将尖峰神经元的电位视为可微信号，从而在较少的精度损失的情况下通过误差反向传播机制直接对尖峰信号和电位进行训练，这使得深度尖峰神经网络比以往的间接训练方法表现更好，能够更精确地捕获尖峰的静态特征。测试结果表明，该算法在 MNIST 和 N-MNIST 数据集上比以往的 SNNs 方法表现更好。

Aug, 2016

提高深度脉冲神经网络训练性能的有效方法

本文介绍了一种新型的深度脉冲神经网络（DSN），它可以直接进行参数训练，不需要先用传统深度神经网络的训练结果来初始化；研究表明，在 DSN 中控制反向路径的膜电位初始值是非常重要的，同时本文提出了一种简单而有效的方法可以加快 DSN 的收敛时间并提高准确性。

Nov, 2016

超越分类：直接训练脉冲神经网络实现语义分割

本论文探讨了脉冲神经网络在语义分割方面的应用，通过替代全连接层和使用替代梯度学习方法，将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明，相较于 ANN 网络，SNN 网络在这个领域更加稳健和节能。

Oct, 2021

为训练深度神经网络架构实现基于脉冲的反向传播

通过引入近似导数方法和基于脉冲的反向传播方法，本文提出一种可以直接训练深度脉冲神经网络的方法，实验结果表明，该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。

Mar, 2019

复发射神经网络的异质学习动力学的拓扑表示

该论文介绍了一种使用 RTD（Representation Topology Divergence）比较 Recurrent SNN 模型之间分布式表示差异的新方法，探究了使用 STDP 训练的 RSNN 的学习能力以及异质性在突触动力学学习中的作用。

Mar, 2024

Spiking DS-ResNet 多级发射：实现更好、更深直接训练的尖峰神经网络

本文提出一种基于现有的时空反向传播（STBP）方法和脉冲沉睡抑制残余网络（spiking DS-ResNet）的多层发射（MLF）方法，可以更有效地传播梯度和提高神经元的增量表达能力，解决深度 SNNs 的梯度消失和退化问题，并且在非神经形态数据集和两个神经形态数据集上展示了出色的性能。

Oct, 2022

基于直接学习的深度脉冲神经网络综述

本文综述了基于直接学习的深度脉冲神经网络研究，重点讨论了提高准确性、提高效率和利用时间动态的方法，并进一步分类和总结。同时，展望了未来研究中可能面临的挑战和趋势。

May, 2023

使用优化效率和最小延迟的通用脉冲神经网络训练

提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

Jan, 2024

动态脉冲图神经网络

该研究论文提出了一种名为动态神经图网络（Dynamic Spiking Graph Neural Networks）的框架，用于解决动态图表示学习中的信息丢失和内存要求问题，通过将早期信息直接传递到最后一层以进行信息补偿，并在动态图环境中扩展了隐式微分以适应内存要求，并通过在三个大规模实际动态图数据集上的大量实验证明了其在动态节点分类任务上的有效性与较低的计算成本。

Dec, 2023

深入研究直接训练更大尺寸的脉冲神经网络

提出了一种基于阈值相关批归一化（tdBN）和空间时间反向传播（STBP）的方法，可直接训练深度脉冲神经网络（SNN），并在神经形态硬件上实现其推理，单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率，是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。

Oct, 2020