基于事件和深度数据的脉冲卷积神经网络手势识别的高效传感器融合

Jan, 2024

基于事件和深度数据的脉冲卷积神经网络手势识别的高效传感器融合

Efficient Gesture Recognition on Spiking Convolutional Networks Through Sensor Fusion of Event-Based and Depth Data

Lea Steffen, Thomas Trapp, Arne Roennau, Rüdiger Dillmann

TL;DR智能系统在我们日常生活中变得越来越重要，需要新的交互方式。本文提出的脉冲卷积神经网络利用事件和深度数据进行手势识别，通过在嵌入式系统上进行离线训练和评估，并使用开源的神经形态计算框架 LAVA 进行模拟。研究结果表明，在深度信息和模态融合中，时间编码及不同编码的数据对网络性能和泛化能力有积极效果。

Abstract

As intelligent systems become increasingly important in our daily lives, new ways of interaction are needed. Classical user interfaces pose issues for the physically impaired and are partially not practical or convenient. Gesture recognition is an alternative, but often not reactive en

intelligent systems gesture recognition spiking convolutional neural network event- and depth data modality fusion

发现论文，激发创造

脑机接口手势识别的卷积脉冲网络

本文提出了一种简单而有效的基于机器学习的方法，使用混合 Convolutional Spiking Neural Network 和生物启发式事件驱动突触可塑性规则进行手势分类的训练和测试。该方法在不同受试者和任务中进行了测试，可以对不同的手势类别和运动想象任务进行准确的识别，准确率达 92.74％至 97.07％。

Apr, 2023

基于一致投票和三维卷积的多模态融合技术用于孤立手势识别

本文提出了一种基于 RGB 和深度视频序列的空间与时间信息互补建模方法，采用卷积二流一致投票网络（2SCVN）和 3D 深度显著性 ConvNet 流（3DDSN）的并行聚合结构，极大提高了细微运动特征的识别准确性，结果在 Chalearn IsoGD 基准测试中优于领先者 10.29％，在 RGBD-HuDaAct 数据集上取得了最佳效果（96.74％），同时进行了定量实验和定性分析。

Nov, 2016

使用卷积神经网络进行实时手势检测与分类

本研究提出了一种层次结构的卷积神经网络架构，通过使用滑动窗口方法，使离线工作的卷积神经网络架构能够高效地在线操作，同时细化了手势检测和分类。该架构达到了 94.04％和 83.82％的离线分类准确率以及可实现良好的在线操作表现。

Jan, 2019

基于时空滤波的事件驱动行为识别

本文提出了在事件域中进行时空过滤的方法，通过学习局部时空权重矩阵，增强卷积神经网络对动作识别的性能，在 DVS Gesture 数据集和新录制的动作识别数据集上显著改善。

Mar, 2019

基于卷积神经网络的大规模孤立手势识别

该论文提出了三种简单、紧凑而又有效的深度序列表示方法，分别称为动态深度图像 (DDI)、动态深度法线图像 (DDNI) 和动态深度运动法线图像 (DDMNI)。这些动态图像是从一系列深度图像构建而成的，使用双向排名池化来有效地捕捉时空信息，从而使我们能够对已经训练好的卷积神经网络 (ConvNets) 模型进行微调，以用于深度序列的分类。在该论文提出的基础上，我们开发了一个卷积神经网络 (ConvNets) 方法，用于手势识别，并在 2016 年 ChaLearn Looking at People（LAP）挑战赛的大规模隔离手势识别中进行了评估，达到了 55.57％的分类准确率，并排名第二，虽然只使用了深度数据，但非常接近最佳表现。

Jan, 2017

使用 3D 卷积神经网络学习时空特征，实现视频自动手术姿态识别

采用三维卷积神经网络从连续视频帧中学习时空特征，实现视觉手术姿势识别，可用于手术技能评估、手术操作中的监控和手术任务的半自动化等多种应用。在针对 JIGSAWS 数据库中的机器人辅助缝合视频的测试中，通过对空间时间特征建模，该方法实现了高于 84% 的手术姿态识别准确性，是视频手术姿态识别的重要进展。

Jul, 2019

TactileSGNet：面向基于事件的触觉物体识别的脉冲图神经网络

本文提出了一种新型的尖锐图神经网络用于事件驱动的触觉物体识别，在两个触觉数据集上的实验结果表明，该方法在分类各种不同的家居物品时能够取得约 90％的高准确率。

Aug, 2020

使用卷积神经网络进行大规模连续手势识别

使用卷积神经网络从连续深度图序列中识别手势，主要方法包括使用数量运动进行个别手势分段、构建改进的深度运动图、通过卷积神经网络进行手势识别和在 ChaLearn LAP Challenge 竞赛中取得第三名的表现。

Aug, 2016

学习识别触摸手势：循环 vs. 卷积特征和动态采样

利用深度神经网络，提出了基于动态采样和时间归一化组件的触摸手势学习方法，可以将变长手势转换为固定长度表示并处理多用户和硬件变化，本文还提出了新的手势数据集并在标准数据集上超越了现有技术并报告了接近完美的性能。

Feb, 2018

基于卷积神经网络的多普勒雷达手势识别系统

本文提出了一种使用双通道 Doppler 雷达和卷积神经网络的成本效益高的手势识别系统，其在时间 - 频率分析后对手势信号进行分类。实验结果表明，该系统具有 98％的准确性。

Nov, 2017