本文提出了 T2FSNN,利用基于内核的动态阈值和树突将时间到第一个尖峰编码的概念引入深度 SNN 中,进一步提高其效率,优化后的方法可以将推理延迟和尖峰数分别降低到 22%和小于 1%。
Mar, 2020
本文提出了两种基于时间的稀疏发放(SSR)正则化方法,用于进一步降低 TTFS 编码的 SNN 的发放频率,并通过使用多层感知器网络和卷积神经网络结构在 MNIST、Fashion-Mnist 和 CIFAR-10 数据集上对这些正则化方法的效果进行了研究。
Jul, 2023
本研究证明了在采用了时间编码方案的前馈脉冲网络中,网络输入 - 输出关系在几乎任何地方都是可微的,并且在变量转换后这种关系是分段线性的。此外,我们展示了通过该方法对项独立 MNIST 任务进行训练的结果,从而证明了训练人工神经网络的方法可以直接应用于训练这种脉冲网络。与基于速率的脉冲网络不同的是,我们所提出的网络的脉冲更为稀疏,且其行为不能直接由传统的人工神经网络来近似。这些结果强调了控制具有复杂时间信息的脉冲模式的脉冲网络行为的新方法。
Jun, 2016
本文研究了脉冲神经网络的训练方法,将其应用于 CIFAR10 和 ImageNet 数据集中,并采用量化和扰动方式增强其稳健性,最终证明了脉冲神经网络在实际应用中具有高性能和高能效的可行性。
Sep, 2019
本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络,将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平,并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级,从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。
Mar, 2021
提出了一个通用的训练框架,提高了有限时间步长内特征学习和激活效率,为更节能的 SNN 提供了新的解决方案。
Jan, 2024
本文介绍了一种时间效率训练(TET)方法,以解决直接使用代理梯度进行训练的脉冲神经网络(SNNs)普遍存在的推广性差的问题,并且证明了该方法在各种数据集上超过了其他方法,尤其在 DVS-CIFAR10 上达到了 83% 的准确率,优于现有技术。
Feb, 2022
本文提出了一种具有生物特征的尖峰神经网络模型,采用相对时间编码方案,使用 BPROP 算法进行监督式训练,并在 MNIST 数据集等分类任务中成功地训练了网络,结果表明该网络具有编码单个神经元时间信息的高计算能力,在视觉决策任务中取得了与人类决策类似的准确性 - 速度的平衡,为实现更复杂的具有生物启示的神经网络架构提供了有效的构建块。
Jul, 2019
使用生成对抗网络 (GAN) 的模型 Spike-GAN,可以模拟神经元人群的联合活动,并生成符合实验数据统计学特征的尖峰火箭信号。在与其他主流神经科学建模方法的比较中表现出类似的性能,此方法提供了一种更灵活,易于使用的神经活动合成技术,并可用于确定尖峰火箭信号中的重要特征之间的关系。
Mar, 2018
提出了一种基于阈值相关批归一化(tdBN)和空间时间反向传播(STBP)的方法,可直接训练深度脉冲神经网络(SNN),并在神经形态硬件上实现其推理,单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率,是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。
Oct, 2020