Dec, 2023

NiSNN-A: 非迭代的脉冲神经网络加注意机制在运动意向脑电分类中的应用

PDF
TL;DR通过将 SNN 和注意力机制相结合，我们提出了一种非迭代 SNN 与注意力（NiSNN-A）模型，旨在改善 EEG 分类的精度并减少能量消耗。实验结果表明，我们的模型在准确性方面超过其他 SNN 模型，并且相比于 CNN 模型，我们的模型提高了能源效率（增加了 2.27 倍），同时保持可比较的准确性。
motor imageryspiking neural networksattention mechanismseeg classificationenergy efficiency
发现论文，激发创造
  • 使用注意力驱动的脉冲神经网络增强图表示学习

    本文提出了一个将注意机制与脉冲神经网络 (SNN) 相结合的新方法，以改进图表示学习的能力。该方法能够在学习过程中选择性地关注图中重要的节点和相应的特征，并在多个基准数据集上进行评估，结果显示其性能与现有的图学习技术相当。

    Mar, 2024

  • 基于低活动度监督下的卷积脉冲神经网络应用于语音命令识别

    本文提出了一种使用 Leaky-Integrate-Fire (LIF) 神经元模型的堆叠扩张卷积脉冲层的模型，在保持非常稀疏的脉冲活动的情况下，可以在 Google SC v1 数据集上实现接近标准 DNN 的 5.5% 的误差率，证明了 SNNs 在语音识别方面的可行性。

    Nov, 2020

  • 自适应脉冲循环神经网络精确高效的时间域分类

    本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

    Mar, 2021

  • 基于脉冲神经元的脑启发式多层感知器

    本文介绍了如何在多层感知器（MLP）中使用漏泄整合和火（LIF）神经元来构建以 SNN 为灵感的神经网络机制，通过改进局部特征沟通机制来提高精度，最终在 ImageNet 数据集上取得 81.9％至 83.5％的 top-1 准确度的最新成果。

    Mar, 2022

  • 使用优化效率和最小延迟的通用脉冲神经网络训练

    提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

    Jan, 2024

  • AutoSNN: 实现能效高的脉冲神经网络

    通过定义一个无不良设计选择的搜索空间并引入考虑准确性和脉冲数量的适应性函数，我们提出一种称为 AutoSNN 的脉冲感知神经架构搜索框架，成功搜索出了在准确性和能量效率方面优于手工设计的 SNN 的架构。

    Jan, 2022

  • 脉冲神经网络中的固有冗余

    我们提出了一种 Advance Spatial Attention（ASA）模块来利用神经元网络（SNN）中的冗余功能，通过一对个体空间注意子模块来自适应优化其膜电位分布，从而准确调节噪声尖峰特征。实验结果表明，与最先进的 SNN 基准相比，所提出的方法显著减少了尖峰发射，并具有更好的性能。

    Aug, 2023

  • 生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

    通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

    Dec, 2023

  • 脉冲神经网络的直接训练：更快，更大，更好

    通过提出神经元规范化技术和直接学习算法，以及缩小速率编码窗口和将漏电整合 - 击发（LIF）模型转换为显式迭代版本的 Pytorch 实现方法，训练了高性能的 CIFAR10 数据集上的深度 SNN，开辟了探究 SNN 潜力的新途径。

    Sep, 2018

  • 基于时间关注机制的尖峰神经网络用于事件流分类

    该论文提出了一种基于时间注意力的尖峰神经网络模型来处理事件流，能够有效地提取时空特征，提高分类准确率。

    Jul, 2021