提出了一种有效的方法,将 ResNet 转换为名为 S-ResNet 的脉冲神经元网络,该方法采用转换模型和补偿机制来降低离散化引起的误差,并在 CIFAR-10,CIFAR-100 和 ImageNet 2012 数据集上实现了比现有 SNN 途径更好的性能,这是第一次在大规模数据集上构建超过 40 层深度的 SNN,并获得与 ANNs 相当的性能。
Apr, 2018
本文提出了基于 SEW ResNet 的残差学习算法来实现深度 SNNs 的直接训练,并通过在 ImageNet、DVS Gesture 和 CIFAR10-DVS 数据集上的实验表明 SEW ResNet 相对于目前最先进的神经网络直接训练方法在准确性和时间步长方面均有更好的表现。
Feb, 2021
本研究提出一种新颖算法技术生成深度架构的 Spiking Neural Networks,此算法应用于 VGG 和 Residual 网络架构并在 CIFAR-10 和 ImageNet 等图像识别问题上取得了显著的准确率提高,同时证明在 spiking 领域内的稀疏 event-driven 计算可减少硬件开销。
Feb, 2018
本文提出一种基于现有的时空反向传播(STBP)方法和脉冲沉睡抑制残余网络(spiking DS-ResNet)的多层发射(MLF)方法,可以更有效地传播梯度和提高神经元的增量表达能力,解决深度 SNNs 的梯度消失和退化问题,并且在非神经形态数据集和两个神经形态数据集上展示了出色的性能。
Oct, 2022
提出了一种基于阈值相关批归一化(tdBN)和空间时间反向传播(STBP)的方法,可直接训练深度脉冲神经网络(SNN),并在神经形态硬件上实现其推理,单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率,是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。
Oct, 2020
本研究提出了使用逆向残差连接、随机 softmax 和混合人工和尖峰神经元激活的算法技术,以提高学习能力,并取得与传统深度学习 / 人工神经网络相媲美的准确性,同时在诸如 CIFAR10、Imagenet 等复杂视觉识别任务上实现了大幅度的能源效率和减少参数开销。
Oct, 2019
我们提出可逆脉冲神经网络以降低训练过程中中间激活和膜电位的内存成本,通过实验证明我们的可逆 SNN 网络在网络深度上不增加每张图片的内存成本,并比现有模型在准确性和消耗的 GPU 内存方面表现更好。
Dec, 2023
通过使用一种新的、简单的归一化技术 ——postsynaptic potential normalization,本研究解决了深度 spiking neural networks 由于隐藏层中 spiking neurons 的过度激发而难以训练的问题,并且可以通过预激活残差块训练多达 100 层,且比其他使用其他规范化方法的模型表现更好。
Mar, 2022
通过引入近似导数方法和基于脉冲的反向传播方法,本文提出一种可以直接训练深度脉冲神经网络的方法,实验结果表明,该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。
Mar, 2019
本文综述了基于直接学习的深度脉冲神经网络研究,重点讨论了提高准确性、提高效率和利用时间动态的方法,并进一步分类和总结。同时,展望了未来研究中可能面临的挑战和趋势。
May, 2023