Jan, 2024

桌面人机交互的多模态手势识别数据集

PDF
TL;DR手势识别是一种不可或缺的自然高效人机交互技术组成部分，特别是在桌面级应用中，可以显著提升人们的生产力。本研究建立了一个名为 GR4DHCI 的数据集，其独特之处在于其固有的自然性、直观性和多样性，其主要目的是作为开发桌面级便携应用的宝贵资源。GR4DHCI 包括超过 7000 个手势样本和 382,447 帧的立体红外和骨骼模态。我们还通过将 27 个不同的手部位置纳入数据集中解决了桌面交互中手部定位的差异问题。建立在 GR4DHCI 数据集的基础上，我们进行了一系列实验研究，结果表明本文提出的细粒度分类块可以提高模型的识别准确性。这篇论文中提出的数据集和实验结果有望推动桌面级手势识别研究的进展。
发现论文，激发创造
  • 在线识别不完整手势数据，以实现协作机器人的接口

    本文介绍了一个用于大量静态手势和动态手势分类识别的人机交互框架，利用佩戴式传感器进行数据收集，并采用降维和神经网络等处理技术，最终实现了在实时环境下的高准确率手势识别。

    Apr, 2023

  • 一种通用的多模态动态手势识别系统，采用机器学习

    提出了一种利用机器学习系统通过 tri-axial 加速度数据识别动态手势的方法，该系统能够以最少的预处理分类不同速度的手势，而且在低成本的嵌入式平台（Raspberry Pi Zero）上运行，具备经济可行性。

    Sep, 2018

  • 基于迁移学习和深度集成学习的手势识别的两阶段方法

    利用预训练的高性能深度神经网络模型在 HG14 数据集上进行手势识别，通过多个模型的集成学习技术，达到了 98.88% 的准确率，展示了深度集成学习技术在人机交互中的有效性及其在增强现实、虚拟现实和游戏技术等领域的潜在应用。

    Sep, 2023

  • 增强人机交互的触觉手势识别技术进展

    本研究旨在提出一个强大的触觉手势识别系统，通过对各种手势识别方法进行综合评估，包括传统的特征工程方法和能够实时解释各种手势的当代深度学习技术，以适应手的大小、运动速度、施加压力水平和交互点的变化，我们对各种方法的深入分析为人机交互领域的基于触觉的手势识别做出了重要贡献。

    May, 2024

  • 实时手势识别：骨骼数据融合和多流 CNN 的整合

    本研究聚焦于手势识别，通过数据级融合和多流卷积神经网络架构的集成调节器，有效地解决了人手形态中的个体差异问题，将骨骼模式的时空手势信息编码到 RGB 图像中，从而提高了姿势理解的语义并降低了噪声，其在 SHREC2017、DHG1428、FPHA、LMDHG 和 CNR 等基准数据集上实现了实时运行，大幅减少硬件需求和计算复杂性，为资源受限设备的人机交互和环境智能提供了可靠性和创新性。

    Jun, 2024

  • 基于语音识别的工具传递中的动态手势特征人机适应

    基于手势识别和动态动作识别的人机协作框架在 UR5e 机器人平台上展示出卓越的性能，提供了高效的工具传递，同时不显著干扰人类意图。

    Sep, 2023

  • 设备端实时手势识别

    提出了一个基于设备的实时手势识别系统，利用单个 RGB 相机检测一组预定义的静态手势，该系统包括手骨骼跟踪器和手势分类器，使用 MediaPipe Hands 作为手骨骼跟踪器的基础，在世界度量空间中添加了 3D 关键点的估计，并创建两个不同的手势分类器，一个基于启发式方法，另一个使用神经网络。

    Oct, 2021

  • 增强现实应用中，合成视频生成用于手势识别的鲁棒性提升

    本文介绍了一个能够生成具有标记边界框和指尖的逼真视频的框架，以帮助设计、训练和基准测试增强现实 /virtual reality 应用程序中的手势识别模型，并展示了我们的框架在生成具有不同背景的视频方面的有效性。

    Nov, 2019

  • UAV-GESTURE: 用于无人机控制和手势识别的数据集

    为了填补这一空白并在更广泛的应用领域中开展研究，我们在室外环境中记录了一组 UAV 手势信号数据集。数据集中包含适用于基本 UAV 导航和指令的 13 个手势，共计 119 个高清视频剪辑，包含 37151 个帧，由基于姿势的卷积神经网络（P-CNN）计算得到的手势识别性能为 91.9％。

    Jan, 2019

  • 手势识别系统的研究与调查

    该论文探讨了手势识别系统在游戏、医疗、家庭电器、工业机器人和虚拟现实等多个领域中的应用，对手势的获取方法、手势在手语中的作用、现有方法进行了比较和综述，并研究了构建手势识别系统时面临的常见挑战。

    Dec, 2023