脉冲深度残差网络
本研究提出一种新颖算法技术生成深度架构的 Spiking Neural Networks,此算法应用于 VGG 和 Residual 网络架构并在 CIFAR-10 和 ImageNet 等图像识别问题上取得了显著的准确率提高,同时证明在 spiking 领域内的稀疏 event-driven 计算可减少硬件开销。
Feb, 2018
本文提出了基于 SEW ResNet 的残差学习算法来实现深度 SNNs 的直接训练,并通过在 ImageNet、DVS Gesture 和 CIFAR10-DVS 数据集上的实验表明 SEW ResNet 相对于目前最先进的神经网络直接训练方法在准确性和时间步长方面均有更好的表现。
Feb, 2021
我们提出可逆脉冲神经网络以降低训练过程中中间激活和膜电位的内存成本,通过实验证明我们的可逆 SNN 网络在网络深度上不增加每张图片的内存成本,并比现有模型在准确性和消耗的 GPU 内存方面表现更好。
Dec, 2023
提出了一种基于阈值相关批归一化(tdBN)和空间时间反向传播(STBP)的方法,可直接训练深度脉冲神经网络(SNN),并在神经形态硬件上实现其推理,单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率,是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。
Oct, 2020
通过提出神经元规范化技术和直接学习算法,以及缩小速率编码窗口和将漏电整合 - 击发(LIF)模型转换为显式迭代版本的 Pytorch 实现方法,训练了高性能的 CIFAR10 数据集上的深度 SNN,开辟了探究 SNN 潜力的新途径。
Sep, 2018
本研究提出了使用逆向残差连接、随机 softmax 和混合人工和尖峰神经元激活的算法技术,以提高学习能力,并取得与传统深度学习 / 人工神经网络相媲美的准确性,同时在诸如 CIFAR10、Imagenet 等复杂视觉识别任务上实现了大幅度的能源效率和减少参数开销。
Oct, 2019
通过引入近似导数方法和基于脉冲的反向传播方法,本文提出一种可以直接训练深度脉冲神经网络的方法,实验结果表明,该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。
Mar, 2019
本文研究了脉冲神经网络的训练方法,将其应用于 CIFAR10 和 ImageNet 数据集中,并采用量化和扰动方式增强其稳健性,最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。
Sep, 2019
本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络,将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平,并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级,从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。
Mar, 2021