ICCVSep, 2019

同时分割和识别：实现更精准的自我手势识别

PDF
TL;DR该论文阐述了一种基于深度神经网络的自我手势识别方法，该方法可以在 AR 和 VR 环境中直接使用。同时，该方法利用同时分割和识别的概念来识别自我手势，并在 EgoGesture 数据集上的实验表明，该方法比目前最先进的技术实现了更好的识别准确率 (96.9%)。
ego hand gesturesarvrgesture recognitionneural network
发现论文，激发创造
  • 头戴式增强现实设备的自我中心手势识别

    本文提出一种基于端到端深度学习方法，采用用于识别土生土长的姿势的时间分辨率特征的循环神经网络和用于找到土手特征的自我手编码器网络，结合绿色屏幕捕获的数据扩充技术来缓解地面真实性注释问题，从而实现了土心姿势识别的问题。

    Aug, 2018

  • Ego2Hands：一种用于自我中心双手分割和检测的数据集

    本研究介绍了 Ego2Hands, 一种大规模 RGB-based 视角无约束手部分割 / 检测数据库和一种颜色不变合成的数据生成技术，这种技术能够创建具有大量和多样性的训练数据，并成功创造了一个评估数据集，大大超过了现有的基准，同时对最先进的手部检测算法的性能进行了系统分析。

    Nov, 2020

  • 移动头戴式显示设备上的实时自我中心手势识别

    本文演示了在移动 VR 头戴式显示器上实时实现自我中心手势检测和定位的方法。通过创新的混合现实数据收集工具，以及超过 400,000 帧的最大自我中心手势和边界框数据集，在现代移动 CPU 上实现的神经网络可以在 8 个类别中实现超过 76％的手势识别精度。

    Dec, 2017

  • 野外手部分割的分析

    本文研究了一种用于自主视角视频中手部分割的方法，通过使用 RefineNet 进行 fine-tune，得出了在具有挑战性的场景中更好的结果，并收集了两个新的数据集来支持实验结果。同时，本文展示了通过手部分割训练 CNN 模型可以提高手部活动识别的准确性。

    Mar, 2018

  • 混合现实增强自我感知：自我中心臂部分割和带自动标注的数据库

    本研究旨在通过自我虚拟环境中基于深度学习的以自我为中心手臂分割技术来改善自我感知，我们提供了一个多种皮肤颜色和性别变化的自我手臂分割数据集，并与使用颜色或深度的现有方法进行了直接比较，结果表明，该数据集的适用性达到了 40% 的提高率，同时深度学习的手臂分割方法具有更强的鲁棒性。

    Mar, 2020

  • 实时手势识别：骨骼数据融合和多流 CNN 的整合

    本研究聚焦于手势识别，通过数据级融合和多流卷积神经网络架构的集成调节器，有效地解决了人手形态中的个体差异问题，将骨骼模式的时空手势信息编码到 RGB 图像中，从而提高了姿势理解的语义并降低了噪声，其在 SHREC2017、DHG1428、FPHA、LMDHG 和 CNR 等基准数据集上实现了实时运行，大幅减少硬件需求和计算复杂性，为资源受限设备的人机交互和环境智能提供了可靠性和创新性。

    Jun, 2024

  • 我的视角，我的双手：准确的自视角二维手势姿态和动作识别

    通过探索 2D 手势姿态评估用于自我中心动作识别的领域，我们提出了两种新方法：EffHandNet 用于单手姿态估计和 EffHandEgoNet 用于自我视角，捕捉手部与物体之间的交互。同时，我们提出了一个从 2D 手部和物体姿态的坚固的动作识别架构。通过在 H2O 和 FPHA 数据集上的评估，我们的架构具有更快的推断时间，并且分别达到了 91.32% 和 94.43% 的精度，超越了包括基于 3D 的方法在内的最先进的技术。

    Apr, 2024

  • 增强现实应用中，合成视频生成用于手势识别的鲁棒性提升

    本文介绍了一个能够生成具有标记边界框和指尖的逼真视频的框架，以帮助设计、训练和基准测试增强现实 /virtual reality 应用程序中的手势识别模型，并展示了我们的框架在生成具有不同背景的视频方面的有效性。

    Nov, 2019

  • 基于迁移学习和深度集成学习的手势识别的两阶段方法

    利用预训练的高性能深度神经网络模型在 HG14 数据集上进行手势识别，通过多个模型的集成学习技术，达到了 98.88% 的准确率，展示了深度集成学习技术在人机交互中的有效性及其在增强现实、虚拟现实和游戏技术等领域的潜在应用。

    Sep, 2023

  • 在线识别不完整手势数据，以实现协作机器人的接口

    本文介绍了一个用于大量静态手势和动态手势分类识别的人机交互框架，利用佩戴式传感器进行数据收集，并采用降维和神经网络等处理技术，最终实现了在实时环境下的高准确率手势识别。

    Apr, 2023