May, 2023

使用卷积神经网络对现场美式手语字母进行分类

PDF
TL;DR本研究旨在构建一个神经网络，能够识别 ASL 手语字母图像特别是在实时视频流中的应用。研究结果表明，使用卷积网络和 VGG16 转移学习方法无法在不同背景设置中推广使用。本文采用先前训练好的手部关节检测模型，并将关节的位置输入到全连接的神经网络中，以提高识别效果，并成功地将该方法推广到实时视频流应用中。
neural networkasl letters recognitionlive video feedhand joint detectionfully-connected neural network
发现论文，激发创造
  • 基于图像的印度手语识别：使用深度神经网络的实用综述

    该研究旨在利用计算机视觉技术和卷积神经网络，开发一种实时、基于印度手语的手语识别系统，以帮助印度的聋人和听力有障碍的人群。经过多次处理和训练，该模型的准确率达到了 99%。

    Apr, 2023

  • 通过 Mediapipe 和卷积神经网络（CNN）提升手语检测

    基于 MediaPipe 和 CNN 的结合，对手语数据集进行高效准确的实时检测，并且通过对手势进行捕捉和处理，实现了一种无需触摸的命令输入方式，进而提高手势识别系统的准确性。

    Jun, 2024

  • Mediapipe 和 CNNs 实时美式手语手势识别

    本研究描述了一种使用现代计算机视觉和机器学习方法的实时美国手语识别系统，该方法使用 Mediapipe 库进行特征提取和卷积神经网络进行手势分类。测试结果显示，该系统能够以 99.95％的准确率检测所有 ASL 字母，表明其在听障人士的通信设备中的潜力。该方法也可以应用于具有类似手势的其他手语，从而提高听力损失者的生活质量。总的来说，本研究证明了使用 Mediapipe 和 CNN 进行实时手语识别的有效性，为计算机视觉和机器学习领域做出了重要贡献。

    May, 2023

  • 用于连续手语识别的全卷积网络

    本文提出了使用全卷积网络 (FCN) 实现在线手语识别的方法，同时从仅具有句子级注释的弱注释视频序列中学习空间和时间特征，通过引入一个手语特征增强 (GFE) 模块来提高序列对齐学习的效果，实验表明该方法在连续手语识别上有效且在在线识别中表现出了较好的性能。

    Jul, 2020

  • 空间 - 时间图卷积神经网络用于手语识别

    提出了一种基于人类骨骼运动的时空图卷积网络的手语识别方法，使用图来捕捉手语在二维空间和时间上的动态，并提供了一个新的 ASLLVD 人体骨架手语数据集以供未来的相关研究。

    Jan, 2019

  • 使用神经形态硬件进行美式手语的静态手势识别

    该论文研究使用 4 种脉冲神经网络模型对美国手语静态手势进行分类，分别使用 ASL 字母和 ASL 数字的数据集进行相关实验，使用英特尔神经形态平台 Loihi 进行比较。结果表明，相较于英特尔神经计算棒 2，Loihi 实现方式在精度、延迟、功耗和能耗方面均优于英特尔神经计算棒 2。

    Jul, 2022

  • 自然语言辅助手语识别

    该论文提出了一种自然语言辅助手语识别 (NLA-SLR) 框架，利用手语词汇中的语义信息来降低手语识别中存在的视觉相似性 (VISigns) 问题。该论文设计了语言辅助标签平滑和交互式混合等技术来提高识别性能，并引入了视频关键点网络作为新型的骨干网络来获得更好的结果。实验结果表明，该方法在三个广泛采用的基准测试数据集上均达到了最先进的性能。

    Mar, 2023

  • 使用卷积神经网络进行实时手势检测与分类

    本研究提出了一种层次结构的卷积神经网络架构，通过使用滑动窗口方法，使离线工作的卷积神经网络架构能够高效地在线操作，同时细化了手势检测和分类。该架构达到了 94.04％和 83.82％的离线分类准确率以及可实现良好的在线操作表现。

    Jan, 2019

  • 走向现实世界中的美国手语处理：数据、任务和方法

    这篇论文研究了自然环境下手语的自动处理，包括手指拼写、手势识别和手语翻译，并提出了新的数据集、任务和方法。

    Aug, 2023

  • 视频中无词典手语识别：数据、模型和手势者自适应

    研究美国手语中指拼字字母的视频序列识别问题，并通过收集和注释新的连续指拼视频数据集，比较多种类型的识别器，探索签名者差异问题。基于深度神经网络的特征，我们的半马尔可夫条件随机场模型在签名者依赖和多签名者情景下均取得较高的字母识别准确率。

    Sep, 2016