基于先进深度学习的三流混合模型动态手势识别
利用深度神经网络,提出了基于动态采样和时间归一化组件的触摸手势学习方法,可以将变长手势转换为固定长度表示并处理多用户和硬件变化,本文还提出了新的手势数据集并在标准数据集上超越了现有技术并报告了接近完美的性能。
Feb, 2018
我们提出了一个基于3D卷积神经网络的方法,使用多个模态的数据来训练单模态网络,通过引入一个空间时间语义对齐的损失函数和一个针对负面知识传递的正则化参数来避免在多个模态之间进行直接的融合以提高手势识别性能。实验结果表明,我们的框架提高了单模态网络的测试时间识别准确性,并在各种动态手势识别数据集上提供了最先进的性能。
Dec, 2018
本研究提出了一种层次结构的卷积神经网络架构,通过使用滑动窗口方法,使离线工作的卷积神经网络架构能够高效地在线操作,同时细化了手势检测和分类。该架构达到了94.04%和83.82%的离线分类准确率以及可实现良好的在线操作表现。
Jan, 2019
本文提出了一种手势语音组合方法和基于卷积神经网络的手势识别框架,通过学习手势语音组成元素来提高手势数量的可扩展性,并使用Scaled Hand Gestures Dataset数据集进行实验分析,成功实现了单个手势语音组成和三个手势语音组成的手势识别任务。
May, 2019
本文介绍了一个名为IPN Hand的新的基准数据集,用于训练和评估深度神经网络,包含超过4,000个姿势样本和50个人的800,000个RGB帧。作者对13个不同的静态和动态手势进行了设计以应对无触摸屏幕的交互,并考虑了手部自然动作。作者评估了三种3D-CNN模型在孤立和连续实时HGR任务上的性能,并探讨了增加识别准确性的可能性。作者的实验结果表明,最先进的ResNext-101模型在使用其真实世界数据集时准确率降低约30%,表明IPN Hand数据集可以用作基准,并有助于推动连续HGR的发展。
Apr, 2020
本研究提出了基于自注意力图卷积网络和RBI-IndRNN的双流神经网络,用于提取短期和长期时间信息,以实现手势识别。在Dynamic Hand Gesture数据集和First-Person Hand Action数据集上验证了其有效性,并取得了最新的性能。
Jan, 2021
本文提出了一种基于Snapture的手势识别系统,该系统可以同时学习静态手势和动态手势,以及一种分析手势动态特征的方法来调节静态通道。该系统在两个手势基准测试中相对于CNNLSTM基线表现出了优越性,并揭示了其在性能改进方面的潜力。
May, 2022
本研究使用 Few-Shot Learning 模型,通过提供一到五个手势示例来识别五到十种不同的动态手势,模型的主干是使用 Long-Short-Term Memory 组成的 Relation Network,使用了 Jester 数据集中提取的手势参考点进行训练,在动态手势的识别方面的准确率为五种手势高达 88.8%,十种手势高达 81.2%,并尝试对 Few-Shot Learning 方法和传统 Deep Learning 方法之间对比,并表现出了大量观察数量的巨大节省潜力。
Dec, 2022
本研究聚焦于手势识别,通过数据级融合和多流卷积神经网络架构的集成调节器,有效地解决了人手形态中的个体差异问题,将骨骼模式的时空手势信息编码到RGB图像中,从而提高了姿势理解的语义并降低了噪声,其在SHREC2017、DHG1428、FPHA、LMDHG和CNR等基准数据集上实现了实时运行,大幅减少硬件需求和计算复杂性,为资源受限设备的人机交互和环境智能提供了可靠性和创新性。
Jun, 2024
本研究针对手势识别系统中自动精确识别手势的挑战,进行了2014至2024年的技术和数据模态全面综述,强调了传感器技术和计算机视觉的进展。我们发现了当前研究中对连续手势识别的关注不足,并呼吁改进基于视觉的手势系统,提出了多模态手势识别的前景和研究方向。
Aug, 2024