脉冲神经网络中的深度剩余学习
提出了一种有效的方法,将 ResNet 转换为名为 S-ResNet 的脉冲神经元网络,该方法采用转换模型和补偿机制来降低离散化引起的误差,并在 CIFAR-10,CIFAR-100 和 ImageNet 2012 数据集上实现了比现有 SNN 途径更好的性能,这是第一次在大规模数据集上构建超过 40 层深度的 SNN,并获得与 ANNs 相当的性能。
Apr, 2018
本研究提出一种新颖算法技术生成深度架构的 Spiking Neural Networks,此算法应用于 VGG 和 Residual 网络架构并在 CIFAR-10 和 ImageNet 等图像识别问题上取得了显著的准确率提高,同时证明在 spiking 领域内的稀疏 event-driven 计算可减少硬件开销。
Feb, 2018
本研究提出了使用逆向残差连接、随机 softmax 和混合人工和尖峰神经元激活的算法技术,以提高学习能力,并取得与传统深度学习 / 人工神经网络相媲美的准确性,同时在诸如 CIFAR10、Imagenet 等复杂视觉识别任务上实现了大幅度的能源效率和减少参数开销。
Oct, 2019
本文提出一种基于现有的时空反向传播(STBP)方法和脉冲沉睡抑制残余网络(spiking DS-ResNet)的多层发射(MLF)方法,可以更有效地传播梯度和提高神经元的增量表达能力,解决深度 SNNs 的梯度消失和退化问题,并且在非神经形态数据集和两个神经形态数据集上展示了出色的性能。
Oct, 2022
本研究提出了一种硬件友好的、基于残差设计的、全新的、纯变压器型脉冲神经网络 ——Spikingformer,它能够避免非脉冲计算并使能耗降低 60.34%。Spikingformer 在图像分类任务的表现优于之前的纯 SNN,并且是首次开发出全脉冲驱动的变压器型 SNN。
Apr, 2023
提出了一种基于阈值相关批归一化(tdBN)和空间时间反向传播(STBP)的方法,可直接训练深度脉冲神经网络(SNN),并在神经形态硬件上实现其推理,单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率,是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。
Oct, 2020
我们提出可逆脉冲神经网络以降低训练过程中中间激活和膜电位的内存成本,通过实验证明我们的可逆 SNN 网络在网络深度上不增加每张图片的内存成本,并比现有模型在准确性和消耗的 GPU 内存方面表现更好。
Dec, 2023
本文介绍了一种新型的深度脉冲神经网络(DSN),它可以直接进行参数训练,不需要先用传统深度神经网络的训练结果来初始化;研究表明,在 DSN 中控制反向路径的膜电位初始值是非常重要的,同时本文提出了一种简单而有效的方法可以加快 DSN 的收敛时间并提高准确性。
Nov, 2016