Apr, 2023

OO-dMVMT: 一个基于深度多视角多任务分类框架的实时3D手势分类和分割系统

HTML
PDF
TL;DR本文提出一个使用On-Off深度多视角多任务范式 (OO-dMVMT) 对捕获的手势姿态流进行连续中空气手势识别的方法，扩展了经典的多视角多任务范式，允许特定任务根据输入开/关，并在实时操作的情况下实现了最新的状态下的连续/在线三维骨架手势识别。
发现论文，激发创造
  • 大规模多视角3D手势姿态数据集

    提出一个多视角手势姿势数据集和一个既简单又准确的、用于实时鲁棒的2D手势姿势估计的深度学习框架。

    Jul, 2017

  • DeepHPS: 基于合成深度学习的端到端三维手部姿态和形状估计

    通过使用卷积神经网络结构, 从单个深度图像中学习手部姿势,骨骼比例和复杂形状参数，以及使用一个新的手部姿势和形状层来产生3D关节位置和手部网格，利用SynHand5M数据集，在综合数据集上展示了良好的效果。

    Aug, 2018

  • 利用多模态训练提高单模态动态手势识别的性能

    我们提出了一个基于3D卷积神经网络的方法，使用多个模态的数据来训练单模态网络，通过引入一个空间时间语义对齐的损失函数和一个针对负面知识传递的正则化参数来避免在多个模态之间进行直接的融合以提高手势识别性能。实验结果表明，我们的框架提高了单模态网络的测试时间识别准确性，并在各种动态手势识别数据集上提供了最先进的性能。

    Dec, 2018

  • 使用卷积神经网络进行实时手势检测与分类

    本研究提出了一种层次结构的卷积神经网络架构，通过使用滑动窗口方法，使离线工作的卷积神经网络架构能够高效地在线操作，同时细化了手势检测和分类。该架构达到了94.04％和83.82％的离线分类准确率以及可实现良好的在线操作表现。

    Jan, 2019

  • 同时分割和识别：实现更精准的自我手势识别

    该论文阐述了一种基于深度神经网络的自我手势识别方法，该方法可以在AR和VR环境中直接使用。同时，该方法利用同时分割和识别的概念来识别自我手势，并在EgoGesture数据集上的实验表明，该方法比目前最先进的技术实现了更好的识别准确率(96.9%)。

    Sep, 2019

  • 增强现实应用中，合成视频生成用于手势识别的鲁棒性提升

    本文介绍了一个能够生成具有标记边界框和指尖的逼真视频的框架，以帮助设计、训练和基准测试增强现实/virtual reality应用程序中的手势识别模型，并展示了我们的框架在生成具有不同背景的视频方面的有效性。

    Nov, 2019

  • MVHM: 准确三维手部姿态估计的大规模多视图手部网格基准测试

    本文提出了一种spin match算法，并基于该算法提出了一种有效的多视角手部网格数据集生成方法，证明使用该数据集训练的手部姿态估计器大幅提升性能，从而达到了0.990 AUC$_{20-50}$的性能，且数据集内容公开。

    Dec, 2020

  • 通过双手解耦进行身体动力学生成的多样化三维手势预测

    本文介绍一种新型双手解缠的两阶段三维手势生成方法，以从身体动态中实现自然且多样化的三维手势预测，并通过渐进式采样进一步多样化手势预测。

    Mar, 2023

  • 高效手部网格重建的简单基线

    我们提出了一种简单而有效的基准方法，不仅超越了现有技术方法，而且显示出计算效率，从而在多个数据集上实现了SOTA结果。

    Mar, 2024

  • 基于先进深度学习的三流混合模型动态手势识别

    本研究针对手势识别中存在的数据集限制、手形变化和环境因素等挑战，提出了一种新型的三流混合模型，结合RGB像素和骨骼特征以提高识别效果。通过多层GRU和LSTM增强特征提取能力，模型展现出较强的手势检测性能，具有广泛应用潜力。

    Aug, 2024