Jun, 2024

通过 Mediapipe 和卷积神经网络（CNN）提升手语检测

PDF
TL;DR基于 MediaPipe 和 CNN 的结合，对手语数据集进行高效准确的实时检测，并且通过对手势进行捕捉和处理，实现了一种无需触摸的命令输入方式，进而提高手势识别系统的准确性。
发现论文，激发创造
  • Mediapipe 和 CNNs 实时美式手语手势识别

    本研究描述了一种使用现代计算机视觉和机器学习方法的实时美国手语识别系统，该方法使用 Mediapipe 库进行特征提取和卷积神经网络进行手势分类。测试结果显示，该系统能够以 99.95％的准确率检测所有 ASL 字母，表明其在听障人士的通信设备中的潜力。该方法也可以应用于具有类似手势的其他手语，从而提高听力损失者的生活质量。总的来说，本研究证明了使用 Mediapipe 和 CNN 进行实时手语识别的有效性，为计算机视觉和机器学习领域做出了重要贡献。

    May, 2023

  • 使用 Mediapipe Holistic 的印度手语识别

    通过使用卷积神经网络和 LSTM 模型进行手势和静态手语识别，研究开发了一种印度手语转换为文本或语音的文本 - 手语翻译模型，可以帮助聋人和听障人士在社交、教育和职业场境中进行更准确的交流。

    Apr, 2023

  • 高效精确的手语识别：只需一个优秀的姿态估计库

    该研究利用 SPOTER 架构和 MediaPipe 技术，实现更高效、精准的手语识别，成功创建了首个公开的在线手语翻译应用。

    Sep, 2022

  • 使用卷积神经网络对现场美式手语字母进行分类

    本研究旨在构建一个神经网络，能够识别 ASL 手语字母图像特别是在实时视频流中的应用。研究结果表明，使用卷积网络和 VGG16 转移学习方法无法在不同背景设置中推广使用。本文采用先前训练好的手部关节检测模型，并将关节的位置输入到全连接的神经网络中，以提高识别效果，并成功地将该方法推广到实时视频流应用中。

    May, 2023

  • 基于图像的印度手语识别：使用深度神经网络的实用综述

    该研究旨在利用计算机视觉技术和卷积神经网络，开发一种实时、基于印度手语的手语识别系统，以帮助印度的聋人和听力有障碍的人群。经过多次处理和训练，该模型的准确率达到了 99%。

    Apr, 2023

  • 测试 MediaPipe Holistic 对手语中非手标记的语言分析

    深度学习、关键点追踪、面部特征、语言分析和手语是该篇研究的主要关键词，通过测试不同解决方案的性能，提出了训练额外校正模型来克服局限性的建议。

    Mar, 2024

  • 走向现实世界中的美国手语处理：数据、任务和方法

    这篇论文研究了自然环境下手语的自动处理，包括手指拼写、手势识别和手语翻译，并提出了新的数据集、任务和方法。

    Aug, 2023

  • 利用人体姿态估计实时识别手语

    提出了一种轻量级的实时手语检测模型，该模型使用基于人体姿态估计的光流特征，并使用线性分类器对其进行了评估，证明其准确性达到了 80％。将递归模型直接应用于输入时，准确率提高了至多 91％，而仍然在 4ms 内运行，由此展示了其在视频会议应用中的使用可能性。

    Aug, 2020

  • 使用卷积神经网络进行实时手势检测与分类

    本研究提出了一种层次结构的卷积神经网络架构，通过使用滑动窗口方法，使离线工作的卷积神经网络架构能够高效地在线操作，同时细化了手势检测和分类。该架构达到了 94.04％和 83.82％的离线分类准确率以及可实现良好的在线操作表现。

    Jan, 2019

  • 基于深度学习的手语识别方法综述

    通过实验评估了基于计算机视觉的手语识别方法，并引入了新的序列训练标准，讨论了许多预训练方案，并创建了带注释的希腊手语 RGB + D 数据集。

    Jul, 2020