CVPRApr, 2019

基于 SPD 流形学习的神经网络用于基于骨架的手势识别

PDF
TL;DR该研究提出了一种基于 SPD 流形学习的神经网络，用于骨架手势识别，并在两个具有挑战性的数据集上实现最先进的准确性。
发现论文，激发创造
  • 基于时空多层感知器的手势识别

    提出了一种基于神经网络的新型手势识别架构，只需使用人体骨骼输入数据，即可实现最先进的效果，应用于自动驾驶中具有实时性能和稳定性。

    Apr, 2022

  • 基于运动特征增强循环神经网络的基于骨架的动态手势识别

    本文提出了一种基于骨架的动态手势识别新运动特征增强的循环神经网络，该算法通过双向循环神经网络将动作特征与骨架序列结合起来，从而在识别手势时提高了准确性。

    Aug, 2017

  • 基于姿态的手势识别的双流神经网络

    本研究提出了基于自注意力图卷积网络和 RBI-IndRNN 的双流神经网络，用于提取短期和长期时间信息，以实现手势识别。在 Dynamic Hand Gesture 数据集和 First-Person Hand Action 数据集上验证了其有效性，并取得了最新的性能。

    Jan, 2021

  • 实时手势识别：骨骼数据融合和多流 CNN 的整合

    本研究聚焦于手势识别，通过数据级融合和多流卷积神经网络架构的集成调节器，有效地解决了人手形态中的个体差异问题，将骨骼模式的时空手势信息编码到 RGB 图像中，从而提高了姿势理解的语义并降低了噪声，其在 SHREC2017、DHG1428、FPHA、LMDHG 和 CNR 等基准数据集上实现了实时运行，大幅减少硬件需求和计算复杂性，为资源受限设备的人机交互和环境智能提供了可靠性和创新性。

    Jun, 2024

  • 基于长时程建模的人体运动时空流形学习

    本研究提出了一种基于深度学习的数据驱动建模方法，利用自然运动流形来处理人类运动中存在的多模态时空相关性及骨骼信息提取问题，并在多个应用场景中获得了优异的结果。

    Aug, 2019

  • 使用路径签名特征和时序变换模块的基于骨架的手势识别算法

    本研究提出了基于骨架的手势识别模型，采用重要的特征描述符 - 路径签名，并使用所提出的多种特征来明确表示空间和时间运动特征，并且通过注意手的原则来定义关节对，并使用 “dyadic method” 来提取 T_PS 和 T_S_PS 特征，最后采用多流全连接层和融合技术来进行分类，实验结果证明该方法可以实现骨架模型下手势识别的最佳表现。

    Nov, 2018

  • 使用 3D 卷积神经网络学习时空特征，实现视频自动手术姿态识别

    采用三维卷积神经网络从连续视频帧中学习时空特征，实现视觉手术姿势识别，可用于手术技能评估、手术操作中的监控和手术任务的半自动化等多种应用。在针对 JIGSAWS 数据库中的机器人辅助缝合视频的测试中，通过对空间时间特征建模，该方法实现了高于 84% 的手术姿态识别准确性，是视频手术姿态识别的重要进展。

    Jul, 2019

  • GeomNet: 一种基于对称正定矩阵空间和 Cholesky 空间上的 Riemannian 几何的神经网络，用于 3D 骨架交互识别

    提出了一种基于高斯分布和李群、黎曼对称空间的新方法，可用于表示和分类二人互动的三维骨架序列，并在三个三维人体活动理解基准测试中取得了有竞争力的结果。

    Nov, 2021

  • 基于骨骼的动作识别的时空图卷积网络

    提出了一种基于空间 - 时间图卷积网络 (ST-GCN) 的骨架识别模型，该模型能够在不借助人工干预的情况下自动学习骨架在空间和时间上的表现，并且在动作识别以及泛化能力方面远优于之前的方法。

    Jan, 2018

  • 基于 SPD 流形的生理和行为信号融合及其在压力和疼痛检测中的应用

    本文提出了一种新的几何框架，利用对称正定（SPD）矩阵作为表示，从协方差和交叉协方差中结合生理和行为信号的相关关系，用于多模态压力 / 疼痛探测中。采用切空间映射方法将推导出的 SPD 矩阵序列映射到切向空间中的向量序列，然后应用于 LSTM-based 网络进行分类，该框架已在两个公共多模式数据集上获得了最先进的压力和疼痛检测结果。

    Jul, 2022