Nov, 2023

基于 Praxis 数据集的手势分类：牺牲准确率以换取经济性

PDF
TL;DR通过对 PRAXIS 数据集中的身体关键点坐标进行分析，我们提出了比先前模型更有效的手势分类器。利用窗口技术与深度学习架构（如循环神经网络），我们仅使用身体关键数据就实现了 70.8% 的准确率。此外，我们通过长短时记忆（LSTM）提取和分析关节的时间动态来识别手势，静态手势识别率为 74.3%，动态手势识别率为 67.3%。该方法可用于开发自动、准确且廉价的方法，用于诊断多种皮层病理的医疗应用。
hand gesture classifiersskeletal databody joint coordinatespraxis datasetdeep learning architecture
发现论文，激发创造
  • 探索利用机器人采集的数据培训手势分类系统的潜力

    通过使用机器人收集的数据来训练分类系统，这项研究探究了在训练智能系统时特定样本的稀缺性所带来的挑战。研究结果在确定使用机器人运动数据作为训练数据来准确识别佩戴智能手表的人类数字字符的潜力方面提供了有价值的见解，对于那些访问人类特定数据有限的领域具有广泛的影响。

    May, 2024

  • 使用卷积神经网络进行实时手势检测与分类

    本研究提出了一种层次结构的卷积神经网络架构，通过使用滑动窗口方法，使离线工作的卷积神经网络架构能够高效地在线操作，同时细化了手势检测和分类。该架构达到了 94.04％和 83.82％的离线分类准确率以及可实现良好的在线操作表现。

    Jan, 2019

  • 实时手势识别：骨骼数据融合和多流 CNN 的整合

    本研究聚焦于手势识别，通过数据级融合和多流卷积神经网络架构的集成调节器，有效地解决了人手形态中的个体差异问题，将骨骼模式的时空手势信息编码到 RGB 图像中，从而提高了姿势理解的语义并降低了噪声，其在 SHREC2017、DHG1428、FPHA、LMDHG 和 CNR 等基准数据集上实现了实时运行，大幅减少硬件需求和计算复杂性，为资源受限设备的人机交互和环境智能提供了可靠性和创新性。

    Jun, 2024

  • 设备端实时手势识别

    提出了一个基于设备的实时手势识别系统，利用单个 RGB 相机检测一组预定义的静态手势，该系统包括手骨骼跟踪器和手势分类器，使用 MediaPipe Hands 作为手骨骼跟踪器的基础，在世界度量空间中添加了 3D 关键点的估计，并创建两个不同的手势分类器，一个基于启发式方法，另一个使用神经网络。

    Oct, 2021

  • BigHand2.2M 基准测试：手势姿态数据集和最新技术分析

    介绍了一种新的捕捉方法和跟踪系统，自动获取 21 个关节点的手部姿势数据，并通过新数据集和卷积神经网络对自我视角手势估计和交叉基准性能进行显著改进。

    Apr, 2017

  • 最小数据下的卡塔卡利手势识别

    印度古典舞蹈剧 Kathakali 有一组手势称为 Mudras，它们构成了所有舞姿和动作的基本单元。本研究将这个问题视作一个 24 类分类任务，并提出了一种基于姿势估计的向量相似性方法，消除了进一步训练或微调的需要。这种方法克服了数据稀缺性的挑战，从而限制了在类似领域中应用人工智能的范围。该方法在艺术形式中达到了 92% 的准确率，与领域中现有的基于模型训练的作品相当或更好，而且该方法即使在只有 1 或 5 个样本的情况下仍可正常工作，性能略有降低。可用于图像、视频甚至实时流。该系统可以处理手部剪裁或全身图像。我们在这项工作中开发并公开了 Kathakali Mudra Recognition 数据集。

    Apr, 2024

  • 基于 RGB-D 视频和 3D 手势姿态注释的第一人称手部动作基准测试

    本文提出了一种基于 3D 手部姿势的第一人称动态手部动作识别方法，并通过收集大量 RGB-D 视频序列对其进行了实验评估。研究结果表明，在进行动作识别时，与其他数据形式相比，手部姿态作为一种线索具有明显的优势。

    Apr, 2017

  • 在线识别不完整手势数据，以实现协作机器人的接口

    本文介绍了一个用于大量静态手势和动态手势分类识别的人机交互框架，利用佩戴式传感器进行数据收集，并采用降维和神经网络等处理技术，最终实现了在实时环境下的高准确率手势识别。

    Apr, 2023

  • 增强基于肌电信号的手势识别表达能力的多标签分类方法

    通过问题转换方法和合成数据生成策略，本研究提出了一种表面肌电图（sEMG）手势识别系统，可有效提高表达能力，在短时间内实现模型校准，适用于人机交互、虚拟现实和机器人控制等领域。

    Sep, 2023

  • 深度度量元学习用于鲁棒且可解释的基于肌电的手势识别

    我们提出了一种基于深度度量元学习的肌电图案识别模型，通过使用 Siamese 深度卷积神经网络和对比三元损失来学习能够捕捉不同类别分布的肌电特征嵌入空间，进而采用最近质心方法进行推断，提出了一种有效的基于类近程度的置信度评估器，改善了分类器在主动决策中的精度，从而提高了泛化能力和适用性。

    Apr, 2024