基于时间关注机制的尖峰神经网络用于事件流分类
通过全局时态嵌入动态机制扩展、特征重建和训练阶段适应性强调事件效应等,我们提出了一种称为 Razor SNN 的事件稀疏化尖峰框架,从而在四个基于事件的基准数据集上实现了竞争性的性能。
Jun, 2023
本文从认知神经科学方面入手,分析了 Spiking Neural Networks 这种新型生物神经样本学习 / 数据处理模型在模型、训练算法上面的优点和缺点,其中使用了概率模型和时间反向传播算法解决了部分难点,最后在神经元数据集上进行了对比实验.
Oct, 2020
基于事件相机和脉冲神经网络的自适应采样模块实现了在动态范围和时间分辨率高、光照条件恶劣的场景下的物体检测的全新学习框架,并通过在神经形态学数据集上的测试表明其在参数数量和时间步数方面具有更优异的性能。
Mar, 2024
基于事件的传感器与其高时间分辨率(1 微秒)和动态范围(120dB),能够在车辆和无人机等高速平台中部署。然而,事件的高度稀疏和波动性对基于人工神经网络(ANNs)的传统目标检测技术构成了挑战。相比之下,脉冲神经网络(SNNs)由于其固有的时间动态性,在表示基于事件的数据方面非常适用。我们特别演示了膜电位动力学如何在波动事件上调节网络活动,并增强稀疏输入的特征。此外,脉冲触发的自适应阈值可以稳定训练,进一步提高网络性能。基于这一点,我们开发了一种高效的用于基于事件的目标检测的脉冲特征金字塔网络。我们的提出的 SNN 在 Gen1 基准数据集上取得了显著的成绩,达到了 47.7%的平均精度(map50),超过了以前最好的 SNN 9.7%,并展示了 SNN 在基于事件的视觉领域的潜力。我们的模型具有简洁的结构,同时保持了高精度和更低的计算成本,这是稀疏计算的结果。我们的代码将公开提供。
Jul, 2023
本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络,将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平,并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级,从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。
Mar, 2021
我们介绍了一种基于事件相机的混合注意力脉冲神经网络 — 人工神经网络(Hybrid Attention-based SNN-ANN)骨干架构,用于目标检测。通过引入新颖的基于注意力的 SNN-ANN 桥接模块,我们能够从 SNN 层捕捉稀疏的空间和时间关系,并将其转换为 ANN 骨干的稠密特征图。实验结果表明,我们的方法在性能上超过了基线混合和基于 SNN 的方法,并与现有的基于 ANN 的方法相媲美。深入的消融研究确认了我们提出的模块和架构选择的有效性。这些结果为实现在大幅度减少参数预算的情况下达到 ANN 类似性能的混合 SNN-ANN 架构铺平了道路。我们在数字神经形态硬件上实现了 SNN 块,以研究延迟和功耗,并证明了我们的方法的可行性。
Mar, 2024
本论文提出了一种基于注意力机制的高效脉冲神经网络技术 —— 时间 - 通道联合注意 (TCJA) 架构单元,通过在空间和时间维度上有效地执行脉冲序列的相关性来实现更为数据有效的深度学习,运用压缩脉冲流,本地注意机制,1-D 卷积,交叉卷积融合等技术可以灵活地提取特征,同时,该方法在所有测试的静态和神经形态学数据集上的分类准确性 (SOTA) 最高可达 15.7%。
Jun, 2022
本文提出了一个将注意机制与脉冲神经网络 (SNN) 相结合的新方法,以改进图表示学习的能力。该方法能够在学习过程中选择性地关注图中重要的节点和相应的特征,并在多个基准数据集上进行评估,结果显示其性能与现有的图学习技术相当。
Mar, 2024
本研究首次提出了使用脉冲神经网络 (SNNs) 对事件相机的数据进行时间回归预测的问题,即预测旋转事件相机的 3 自由度角速度。该研究使用了从真实全景图像生成的合成事件相机数据集,证明了可以成功地训练 SNNs 来执行角速度回归。
Mar, 2020