Jun, 2023

用 MEMS 超声波传感器进行手势估计

PDF
TL;DR提出了一种便携低成本的手部跟踪手套，采用多个微机电系统超声波传感器测量手指之间的距离矩阵，再利用轻量级深度网络从距离矩阵中重建出手部姿态，该方法精度高、尺寸不变且对外部干扰具有鲁棒性。
hand trackingmems-ultrasonic sensorsdeep networkaccuracyrobustness
发现论文，激发创造
  • 基于深度的手部姿态估计：方法、数据和挑战

    手势姿态估计方面已有巨大进展，但在处理复杂场景，特别是手与周围物体交互的情况下仍存在困难。此研究提出了一个具有挑战性的新数据集，并定义了一个一致的评估标准，同时引入了一个简单有效的最近邻基线系统，加以比较，结果表明相当一部分系统无法在训练集之外进行有效泛化。

    Apr, 2015

  • 使用立体匹配技术进行三维手部姿态跟踪与估计

    本论文提出使用被动立体视觉技术跟踪 / 估计手部姿势的手部姿势跟踪 / 估计算法，并提出 18,000 对立体图像和 18,000 对深度图像的基准数据，以及手掌和手指关节的地面真实 3D 位置，以测试该算法在不同挑战场景下的表现，并且通过手部分割算法提高了跟踪 / 估计算法的性能并得到了量化验证，结果表明被动立体视觉技术具有与主动深度传感器类似的跟踪质量。

    Oct, 2016

  • 结合视觉和基于 EMG 的手部跟踪技术的拓展现实音乐乐器

    本文提出了一种多模态手部追踪系统，通过将基于视觉的手部追踪与肌电数据结合，实现手指关节角度估计。通过与基于视觉的追踪方法进行对比实验，验证了本系统更准确地追踪容易自我遮挡的几个手指关节。研究结果表明，该系统具有提供更准确、更稳定的手部追踪能力，可增强扩展现实体验。

    Jul, 2023

  • 注意力！一个轻量级的二维手部姿势估计方法

    使用视觉的姿势估计技术及卷积神经网络架构，强化了自我关注模块让系统轻量化可在嵌入式系统中应用的新型人机交互方法。

    Jan, 2020

  • 基于视觉和 IMU 的移动机器人手臂远程操作系统

    本文介绍了一个多模态移动远程操作系统，其由一种新颖的基于视觉的手部姿态回归网络（Transteleop）和一种基于 IMU 的臂部追踪方法组成，并使用低成本深度摄像头观察人手，并通过图像到图像的转换过程生成了配对机器人手部姿势的深度图像，同时具备同时手 - 臂控制的可穿戴相机支架，关键点重建损失探索了人类和机器人手之间在外观和解剖上的相似之处，并丰富了重建图像的局部特征。网络评价结果和各种复杂操作的操作都表明了我们的系统的效率和稳定性。

    Mar, 2020

  • 基于动力学的三维骨骼手部追踪

    本研究利用增强刚体模拟方法追踪手部骨骼姿态，在利用深度传感器样本生成限制运动方式的约束的基础上，使用投影高斯 — 赛德尔求解器解决先前的运动，碰撞 / 接触限制，以及关节力学问题，实现了实时、鲁棒且准确的 3D 骨骼追踪。

    May, 2017

  • BigHand2.2M 基准测试：手势姿态数据集和最新技术分析

    介绍了一种新的捕捉方法和跟踪系统，自动获取 21 个关节点的手部姿势数据，并通过新数据集和卷积神经网络对自我视角手势估计和交叉基准性能进行显著改进。

    Apr, 2017

  • 从单模态到多模态：通过深度生成模型改进基于 sEMG 的模式识别

    通过使用深度生成模型生成虚拟惯性测量单元信号，将 sEMG 信号和生成的虚拟 IMU 信号输入多模态卷积神经网络模型，可以显著提高基于 sEMG 的手势识别的准确性。

    Aug, 2023

  • 基于单深度图像的稳健三维手部姿势估计：从单视角 CNN 到多视角 CNN

    该论文提出了一种新方法，利用多视角投影和学习的姿态先验，通过多视角热图来回归手部姿态，最终得出三维手势估计，实验表明该方法在难以应对的数据集上取得了优异表现。

    Jun, 2016

  • 深入学习手势姿态估计

    本文研究使用卷积神经网络结构，预测手的三维关节位置，并通过引入关节先验和有效利用上下文来提高方案的预测精确性和可靠性，在多个基准测试中都表现出了远胜于现有技术的高精度和较快的计算时间。

    Feb, 2015