May, 2020

一种高效的脉冲神经网络，在 Loihi 神经形态处理器上使用 DVS 摄像机识别手势

PDF
TL;DR本文介绍了第三代神经网络 —— 脉冲神经网络（Spiking Neural Networks，SNNs），阐述了它们与传统的深度神经网络（Deep Neural Networks，DNNs）相比的优点和特点，重点讨论了如何将经过训练的 DNNs 转换为 SNNs，并实现了在 Intel Loihi 芯片上实现 SNNs 的实时手势识别等应用。
spiking neural networksneuromorphic processorsevent-based sensorsimage classificationreal-time gesture recognition
发现论文，激发创造
  • 一种用于图像分割的脉冲神经网络

    本文研究了基于神经形态计算在计算机视觉领域中的可扩展性，为了实现在降低功耗的同时达到非神经形态计算的性能。我们将深度神经网络架构 U-Net 转化为脉冲神经网络架构，并采用 ISBI 2D EM Segmentation 数据集对其进行训练和优化。我们提出了一种优化多芯片网络部署的分区方法，并探讨了对定期发放率进行正则化以最小限度地减少精度损失和优化能量消耗的优势。最终在 Intel Loihi 神经形态芯片上进行的神经形态实现比传统硬件 (CPU，GPU) 在线运行时节省能源的倍数，同时在不牺牲网络的任务性能准确性的情况下实现了这些功率改进。

    Jun, 2021

  • CarSNN：一种基于 Loihi 神经形态研究处理器的事件驱动自主车辆的高效脉冲神经网络

    本文介绍了使用 SNN 和 DVS 结合的方式来实现基于事件的汽车分类器从而应用于自动驾驶，最终在 Intel Loihi 神经形态硬件上实现，并取得了最高 86% 的识别率和 310 mW 的低功耗。

    Jul, 2021

  • 使用神经形态硬件进行美式手语的静态手势识别

    该论文研究使用 4 种脉冲神经网络模型对美国手语静态手势进行分类，分别使用 ASL 字母和 ASL 数字的数据集进行相关实验，使用英特尔神经形态平台 Loihi 进行比较。结果表明，相较于英特尔神经计算棒 2，Loihi 实现方式在精度、延迟、功耗和能耗方面均优于英特尔神经计算棒 2。

    Jul, 2022

  • 神经形态硬件上机器学习工作量的高效部署

    本文提供了一种将预先训练的深度神经网络 (DNNs) 转换成脉冲神经网络 (SNNs) 的通用指南，并介绍了一些在神经形态硬件上部署转换后的 SNNs 的技术，可显著改进其延迟，功耗和能耗。实验结果表明，与 Intel Neural Compute Stick 2 相比，使用我们的 SNN 改进技术， Intel 的神经形态处理器 Loihi 在测试的图像分类任务中功耗降低了最多 27 倍，能耗降低了最多 5 倍。

    Oct, 2022

  • 基于层级结构的尖峰门控流神经网络用于在线手势识别

    我们开发了一种基于脉冲神经网络的系统，称为 Spiking Gating Flow（SGF），用于在线动作识别，可在较小的训练 / 推理数据数量比率下实现与深度学习相当的准确性，同时仅需要单次训练时代。

    Jun, 2022

  • 基于事件和深度数据的脉冲卷积神经网络手势识别的高效传感器融合

    智能系统在我们日常生活中变得越来越重要，需要新的交互方式。本文提出的脉冲卷积神经网络利用事件和深度数据进行手势识别，通过在嵌入式系统上进行离线训练和评估，并使用开源的神经形态计算框架 LAVA 进行模拟。研究结果表明，在深度信息和模态融合中，时间编码及不同编码的数据对网络性能和泛化能力有积极效果。

    Jan, 2024

  • 利用低分辨率热成像相机及脉冲神经网络与稀疏分割实现资源高效的姿势识别

    使用低分辨率 (24 x 32) 热传感器，结合脉冲神经网络、稀疏分割和基于特征的手势分类，提出了一种新颖的手势识别方法。与标准 RGB 摄像头相比，该系统对光照变化不敏感，且价格显著低于以往文献中使用的高频雷达、飞行时间摄像头和高分辨率热传感器。关键是，本文通过创新地使用最近提出的单稳态多谐振荡器 (MMV) 神经网络作为新型脉冲神经网络，在记忆和计算复杂度方面较深度学习方法小一个数量级，同时在汽车环境下使用 5 类热相机数据集达到 93.9% 的手势识别准确率。我们提供了该数据集以供未来研究使用。

    Jan, 2024

  • RN-Net: 储水池节点启用的神经形态视觉感知网络

    本文提出了一种基于简单卷积层的神经网络架构，结合低成本的动态时间编码水库节点，实现了异步时间特征的高效处理，并通过使用内部动态的自旋电阻器，在非常低的硬件成本下实现了异步时间特征编码。RN-Net 在 DVS128 手势数据集上取得了最高的 99.2% 的准确率，并且在较小的网络规模下，在 DVS Lip 数据集上实现了达到 67.5% 的准确率，且代码将公开发布。

    Mar, 2023

  • 基于 Loihi 的传导式脉冲图神经网络

    本研究介绍了一种针对 Loihi 2 设计的完全神经形态的尖峰图神经网络实现，利用 Lava 贝叶斯优化优化网络参数，用于引用图分类。结果表明，与现有的浮点实现相比，整型精度的 Loihi 2 兼容尖峰神经网络在引用图分类方面具有可比较的准确性。

    Apr, 2024

  • 基于低活动度监督下的卷积脉冲神经网络应用于语音命令识别

    本文提出了一种使用 Leaky-Integrate-Fire (LIF) 神经元模型的堆叠扩张卷积脉冲层的模型，在保持非常稀疏的脉冲活动的情况下，可以在 Google SC v1 数据集上实现接近标准 DNN 的 5.5% 的误差率，证明了 SNNs 在语音识别方面的可行性。

    Nov, 2020