Feb, 2024

利用低成本单光子雪崩二极管阵列增强手势识别的脉冲神经网络

PDF
TL;DR我们提出了一种紧凑的脉冲卷积神经网络（SCNN）和脉冲多层感知机（SMLP），用于在黑暗和明亮的环境中使用 9.6 个单光子雪崩二极管（SPAD）阵列来识别十种不同的手势，在我们的手势识别系统中，利用光子强度数据来训练和测试网络，与同样的网络拓扑和训练策略下的卷积神经网络（CNN）进行比较，结果显示 SCNN 在黑暗和环境光污染环境中实现了可比较的准确率（90.8%），并且只有 8 个时间步长的浮点操作。SMLP 还呈现出计算工作量和准确性之间的平衡。
spiking convolutional neural networkhand gesture recognitionsingle-photon avalanche diodeambient lightfloating operations
发现论文，激发创造
  • 利用低分辨率热成像相机及脉冲神经网络与稀疏分割实现资源高效的姿势识别

    使用低分辨率 (24 x 32) 热传感器，结合脉冲神经网络、稀疏分割和基于特征的手势分类，提出了一种新颖的手势识别方法。与标准 RGB 摄像头相比，该系统对光照变化不敏感，且价格显著低于以往文献中使用的高频雷达、飞行时间摄像头和高分辨率热传感器。关键是，本文通过创新地使用最近提出的单稳态多谐振荡器 (MMV) 神经网络作为新型脉冲神经网络，在记忆和计算复杂度方面较深度学习方法小一个数量级，同时在汽车环境下使用 5 类热相机数据集达到 93.9% 的手势识别准确率。我们提供了该数据集以供未来研究使用。

    Jan, 2024

  • 一种高效的脉冲神经网络，在 Loihi 神经形态处理器上使用 DVS 摄像机识别手势

    本文介绍了第三代神经网络 —— 脉冲神经网络（Spiking Neural Networks，SNNs），阐述了它们与传统的深度神经网络（Deep Neural Networks，DNNs）相比的优点和特点，重点讨论了如何将经过训练的 DNNs 转换为 SNNs，并实现了在 Intel Loihi 芯片上实现 SNNs 的实时手势识别等应用。

    May, 2020

  • 基于层级结构的尖峰门控流神经网络用于在线手势识别

    我们开发了一种基于脉冲神经网络的系统，称为 Spiking Gating Flow（SGF），用于在线动作识别，可在较小的训练 / 推理数据数量比率下实现与深度学习相当的准确性，同时仅需要单次训练时代。

    Jun, 2022

  • 使用神经形态硬件进行美式手语的静态手势识别

    该论文研究使用 4 种脉冲神经网络模型对美国手语静态手势进行分类，分别使用 ASL 字母和 ASL 数字的数据集进行相关实验，使用英特尔神经形态平台 Loihi 进行比较。结果表明，相较于英特尔神经计算棒 2，Loihi 实现方式在精度、延迟、功耗和能耗方面均优于英特尔神经计算棒 2。

    Jul, 2022

  • 基于 SPD 流形学习的神经网络用于基于骨架的手势识别

    该研究提出了一种基于 SPD 流形学习的神经网络，用于骨架手势识别，并在两个具有挑战性的数据集上实现最先进的准确性。

    Apr, 2019

  • SpGesture：基于 Jaccard 注意力脉冲神经网络的无源域自适应 sEMG 手势识别

    通过膜电位作为记忆列表，我们首次将无源领域适应引入脉冲神经网络，以缓解由分布变化引起的准确性降低，并通过新型的脉冲波 Jaccard 注意力提高了脉冲神经网络对表面肌电图特征的表示能力，从而显著提高了系统的准确性。在收集的新的表面肌电图手势数据集中，SpGesture 在不同的前臂姿势中实现了最高的准确率（89.26%），并且在 CPU 上的实际部署展示了低于 100 毫秒的系统延迟，完全满足实时要求，这些令人印象深刻的性能展示了 SpGesture 在实际场景中增强表面肌电图的应用潜力。

    May, 2024

  • 基于事件和深度数据的脉冲卷积神经网络手势识别的高效传感器融合

    智能系统在我们日常生活中变得越来越重要，需要新的交互方式。本文提出的脉冲卷积神经网络利用事件和深度数据进行手势识别，通过在嵌入式系统上进行离线训练和评估，并使用开源的神经形态计算框架 LAVA 进行模拟。研究结果表明，在深度信息和模态融合中，时间编码及不同编码的数据对网络性能和泛化能力有积极效果。

    Jan, 2024

  • 脑机接口手势识别的卷积脉冲网络

    本文提出了一种简单而有效的基于机器学习的方法，使用混合 Convolutional Spiking Neural Network 和生物启发式事件驱动突触可塑性规则进行手势分类的训练和测试。该方法在不同受试者和任务中进行了测试，可以对不同的手势类别和运动想象任务进行准确的识别，准确率达 92.74％至 97.07％。

    Apr, 2023

  • 基于低活动度监督下的卷积脉冲神经网络应用于语音命令识别

    本文提出了一种使用 Leaky-Integrate-Fire (LIF) 神经元模型的堆叠扩张卷积脉冲层的模型，在保持非常稀疏的脉冲活动的情况下，可以在 Google SC v1 数据集上实现接近标准 DNN 的 5.5% 的误差率，证明了 SNNs 在语音识别方面的可行性。

    Nov, 2020

  • 基于卷积神经网络的大规模孤立手势识别

    该论文提出了三种简单、紧凑而又有效的深度序列表示方法，分别称为动态深度图像 (DDI)、动态深度法线图像 (DDNI) 和动态深度运动法线图像 (DDMNI)。这些动态图像是从一系列深度图像构建而成的，使用双向排名池化来有效地捕捉时空信息，从而使我们能够对已经训练好的卷积神经网络 (ConvNets) 模型进行微调，以用于深度序列的分类。在该论文提出的基础上，我们开发了一个卷积神经网络 (ConvNets) 方法，用于手势识别，并在 2016 年 ChaLearn Looking at People（LAP）挑战赛的大规模隔离手势识别中进行了评估，达到了 55.57％的分类准确率，并排名第二，虽然只使用了深度数据，但非常接近最佳表现。

    Jan, 2017