Aug, 2020

利用人体姿态估计实时识别手语

PDF
TL;DR提出了一种轻量级的实时手语检测模型，该模型使用基于人体姿态估计的光流特征，并使用线性分类器对其进行了评估，证明其准确性达到了 80％。将递归模型直接应用于输入时，准确率提高了至多 91％，而仍然在 4ms 内运行，由此展示了其在视频会议应用中的使用可能性。
sign languagereal-timeoptical flowrecurrent modelvideoconferencing
发现论文，激发创造
  • 高效精确的手语识别：只需一个优秀的姿态估计库

    该研究利用 SPOTER 架构和 MediaPipe 技术，实现更高效、精准的手语识别，成功创建了首个公开的在线手语翻译应用。

    Sep, 2022

  • 注意力驱动的多模态融合：增强手语识别和翻译

    本文研究了在连续手语识别和翻译中添加多模态信息的机制，通过将光流信息与 RGB 图像结合，丰富了与运动相关的特征。我们使用了一个轻量级的插件，不需要为新的模态包含单独的特征提取器，并在手语识别和翻译任务中应用了这些改变，提高了各自的性能。通过在 RWTH-PHOENIX-2014 数据集上进行评估，我们的方法在手语识别任务中将词错误率降低了 0.9，在翻译任务中，我们的方法在测试集上提高了大多数 BLEU 得分约 0.6。

    Sep, 2023

  • 提升手语三维姿态估计

    通过将前向运动学与神经网络相结合，本研究提出了一种快速有效的方法，将图像中的二维关键点提升到三维骨架，预测关节旋转和骨长，并利用神经网络中的 FK 层与骨骼约束相结合，实现了对三维骨骼姿势的快速准确估计。在定量和定性评估中，我们证明了该方法在关节位置误差和视觉外观方面都比 MediaPipe 更准确，并且能够在不同数据集上进行泛化。基于 PyTorch 的实现仅使用 CPU，每张图像处理时间为 100-200 毫秒（包括 CNN 检测）。

    Aug, 2023

  • 通过骨架感知多模型合集进行手语识别

    该篇研究论文提出了一种基于骨架动态特征和多模态特征融合的新型骨骼感知多模态框架，以提高手语识别的准确率，并进行了三个 “孤立 SLR 数据集” 的实验验证，并且实现了最先进的 SLR 性能.

    Oct, 2021

  • 基于面部表情和手骨架的手语识别

    为解决手语识别方法中低准确率和鲁棒性差的问题，该研究提出了一种整合手部骨架特征和面部表情的手语识别网络，通过坐标转换提取更准确的手部形状特征，并结合面部表情信息，最终提高了手语识别的准确性和鲁棒性。这一方法在阿根廷手语数据库和东南大学中国手语识别数据库上得到了验证。

    Jul, 2024

  • SignMusketeers：大规模手语翻译的高效多流方法

    基于影像及语言学特性，本研究提出了一种有效且高效的学习手语表示的方法，专注于手势视频中的脸部、手部和身体姿态，并通过自监督学习的方式学习手语中复杂的手形和丰富的面部表情，实现对手语翻译的新突破。

    Jun, 2024

  • 基于 GCN 和 BERT 的姿势型手语识别

    本文提出了一种新颖的姿态识别方法，该方法采用了图卷积网络和 BERT 模型分别捕捉视频中的空间和时间信息，并通过后期融合来识别手势，实验结果在常规数据集上获得了显著的准确率提升。

    Dec, 2020

  • 基于深度学习的手语识别方法综述

    通过实验评估了基于计算机视觉的手语识别方法，并引入了新的序列训练标准，讨论了许多预训练方案，并创建了带注释的希腊手语 RGB + D 数据集。

    Jul, 2020

  • 现在每个人都签署：将口语语言翻译为逼真的手语视频

    引入了 SignGAN 来通过运用 Mixture Density Network (MDN) 的 transformer 架构，提出了一个新颖的基于关键点的损失函数，实现了从口语翻译成骨骼姿势，再生成连续的手势语视频。使用 8 个手语翻译者的数据集，证明了该方法在定性和定量上均优于基线方法。

    Nov, 2020

  • 时序中的符号：将人体动作编码为时间图像

    论文提出了一种图像编码方法，将人体运动在视频序列中的姿态信息简洁地表示为一列，以适合使用 ConvNet 进行学习，应用于英国手语视频中识别和定位手势，仅使用弱（片段级）监督和大量标签噪声训练，可学习出仅有 10 帧持续时间的手势。

    Aug, 2016