脉冲神经网络深度学习

Apr, 2018

Deep Learning in Spiking Neural Networks

Amirhossein Tavanaei, Masoud Ghodrati, Saeed Reza Kheradpisheh, Timothee Masquelier, Anthony S. Maida

TL;DR该研究论文讨论深度脉冲神经网络的训练方法，比较有监督和无监督学习的准确性、计算成本和硬件友好性，发现深度脉冲神经网络在准确性方面仍落后于人工神经网络，但在许多任务中可以达到相同的准确性并需要更少的计算操作。

Abstract

In recent years, deep learning has been a revolution in the field of machine learning, for computer vision in particular. In this approach, a deep (multilayer) artificial neural network (ANN) is trained in a supervised manner using →

deep learning spiking neural networks supervised learning unsupervised learning backpropagation

发现论文，激发创造

使脉冲神经网络工作：稳健的类脑无监督机器学习

该文章讨论了 Spiking Neural Networks (SNNs) 的局限性，介绍了一种方法来解决这些问题使用无监督学习来快速发现输入数据中的稀疏可识别特征，使 SNNs 成为一种使用未标记数据进行快速、准确、高效、可解释和可重新部署的机器学习的新方法。

Aug, 2022

脉冲神经膜系统学习模型和脉冲神经网络的调查

脉冲神经网络（SNN）是一种受生物启发的神经网络模型，通过脉冲和脉冲列进行神经元之间的通信，与标准人工神经网络（ANN）不同。本文首先对比了 SNN 和脉冲神经 P 系统（SNPS）的结构、功能、优点和缺点，然后综述了 SNN 和 SNPS 形式化方法在机器学习和深度学习模型中的最新研究成果和应用。

Mar, 2024

超越分类：直接训练脉冲神经网络实现语义分割

本论文探讨了脉冲神经网络在语义分割方面的应用，通过替代全连接层和使用替代梯度学习方法，将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明，相较于 ANN 网络，SNN 网络在这个领域更加稳健和节能。

Oct, 2021

自适应脉冲循环神经网络精确高效的时间域分类

本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

Mar, 2021

为训练深度神经网络架构实现基于脉冲的反向传播

通过引入近似导数方法和基于脉冲的反向传播方法，本文提出一种可以直接训练深度脉冲神经网络的方法，实验结果表明，该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。

Mar, 2019

在具有不同局部性的脉冲神经网络学习方法方面的基准测试

Spiking Neural Networks (SNNs) achieve performance comparable to Artificial Neural Networks (ANNs) in machine learning tasks, with processing done through spikes in an event-based mechanism that reduces energy consumption. However, training SNNs is challenging due to the non-differentiable spiking mechanism, and alternative learning methods with varying degrees of locality have been proposed. This research explores the training process similarities, the influence of explicit recurrence, and the performance of local learning methods under adversarial attacks.

Feb, 2024

将传统人工神经网络转化为脉冲神经网络的最优方案

本文介绍了一种将传统人工神经网络转化为脉冲神经网络的新方法，该方法使用门限平衡和软重置机制将权重转移至目标 SNN，以降低转换误差。该方法能够保证几乎不出现精度损失，并且只需要典型 SNN 模拟时间的 1/10，非常适合于对 SNN 极限能量和内存进行支持的嵌入式平台上的实现。

Feb, 2021

基于直接学习的深度脉冲神经网络综述

本文综述了基于直接学习的深度脉冲神经网络研究，重点讨论了提高准确性、提高效率和利用时间动态的方法，并进一步分类和总结。同时，展望了未来研究中可能面临的挑战和趋势。

May, 2023

脉冲神经网络与生物启发式监督深度学习：综述

该论文综述了近期生物学启发的人工智能方法，重点介绍了脉冲神经网络模型及其训练中的挑战，以及用于传统网络和脉冲网络的生物启发式训练方法，以推进当前模型的计算能力和生物合理性。

Jul, 2023

脉冲神经网络的直接训练：更快，更大，更好

通过提出神经元规范化技术和直接学习算法，以及缩小速率编码窗口和将漏电整合 - 击发（LIF）模型转换为显式迭代版本的 Pytorch 实现方法，训练了高性能的 CIFAR10 数据集上的深度 SNN，开辟了探究 SNN 潜力的新途径。

Sep, 2018