使用替代梯度训练的脉冲神经网络表征的揭示
本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络,将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平,并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级,从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。
Mar, 2021
本论文探讨了脉冲神经网络在语义分割方面的应用,通过替代全连接层和使用替代梯度学习方法,将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明,相较于 ANN 网络,SNN 网络在这个领域更加稳健和节能。
Oct, 2021
本文提出了一种人工神经网络和脉冲神经网络之间联合训练的框架,其中人工神经网络可以引导脉冲神经网络的优化。我们通过多个网络分支将人工神经网络中的知识提炼到脉冲神经网络中,并限制了两者的参数,分享部分参数和学习不同的独立权重。在多项广泛的网络结构实验中,我们的方法始终表现出色,超越了许多其他最先进的训练方法。例如,在 CIFAR100 分类任务中,我们的方法训练的脉冲 ResNet-18 模型只需要 4 个时间步,就可以达到 77.39%的 top-1 准确率。
May, 2023
本文综述了基于直接学习的深度脉冲神经网络研究,重点讨论了提高准确性、提高效率和利用时间动态的方法,并进一步分类和总结。同时,展望了未来研究中可能面临的挑战和趋势。
May, 2023
Spiking Neural Networks (SNNs) achieve performance comparable to Artificial Neural Networks (ANNs) in machine learning tasks, with processing done through spikes in an event-based mechanism that reduces energy consumption. However, training SNNs is challenging due to the non-differentiable spiking mechanism, and alternative learning methods with varying degrees of locality have been proposed. This research explores the training process similarities, the influence of explicit recurrence, and the performance of local learning methods under adversarial attacks.
Feb, 2024
本研究提出了使用逆向残差连接、随机 softmax 和混合人工和尖峰神经元激活的算法技术,以提高学习能力,并取得与传统深度学习 / 人工神经网络相媲美的准确性,同时在诸如 CIFAR10、Imagenet 等复杂视觉识别任务上实现了大幅度的能源效率和减少参数开销。
Oct, 2019
该文章讨论了 Spiking Neural Networks (SNNs) 的局限性,介绍了一种方法来解决这些问题使用无监督学习来快速发现输入数据中的稀疏可识别特征,使 SNNs 成为一种使用未标记数据进行快速、准确、高效、可解释和可重新部署的机器学习的新方法。
Aug, 2022
该研究通过初始化辅助 ANN 来解决 Spiking Neural Networks 的长转移期和状态衰减的问题,提出了一种 ANN-SNN 模型来实现高时间分辨率、低延迟和低功耗的预测。在 2D 和 3D 人体姿势估计任务中,与完全 ANN 相比,该方法性能下降仅为 4%,但功耗降低了 88%;与 SNN 相比,误差降低了 74%。
Mar, 2023
本文从认知神经科学方面入手,分析了 Spiking Neural Networks 这种新型生物神经样本学习 / 数据处理模型在模型、训练算法上面的优点和缺点,其中使用了概率模型和时间反向传播算法解决了部分难点,最后在神经元数据集上进行了对比实验.
Oct, 2020
该研究论文讨论深度脉冲神经网络的训练方法,比较有监督和无监督学习的准确性、计算成本和硬件友好性,发现深度脉冲神经网络在准确性方面仍落后于人工神经网络,但在许多任务中可以达到相同的准确性并需要更少的计算操作。
Apr, 2018