Nov, 2022

基于句子级的手语识别框架

PDF
TL;DR本文提出了两种解决方案来解决句子级手语识别问题，并通过使用连接主义时间分类（CTC）作为两种模型的分类器层，介绍了 LRCN-based 模型和 Multi-Cue 网络的工作原理。在评估了 RWTH-PHOENIX-Weather 数据集后，作者通过进行超参数搜索，包括特征图数量、输入大小、批量大小、序列长度、LSTM 内存单元、正则化和失活等，获得了 35% 的字词错误率（WER）。
sign language recognitionconnectionist temporal classificationlrcnmulti-cue networkhand shape
发现论文，激发创造
  • 基于视频的手语识别，无需时间分割

    该研究提出了一种用 Hierarchical Attention Network 和 Latent Space 实现连续手语识别的新型框架，该方法无需时间分割预处理、可以缩小语义差距，并在实验中得到了验证。

    Jan, 2018

  • 手语识别的分数级多提示融合

    通过 3D 卷积神经网络及得分融合方法，我们训练了针对主导手、双手、面部及上半身区域的不同模型，并比较它们的性能表现。实验结果表明，这种混合卷积模型的融合能够比使用完整上半身的基线提高高达 19% 的准确率，并提供有助于未来手语翻译的融合设置讨论。

    Sep, 2020

  • 用于连续手语识别的全卷积网络

    本文提出了使用全卷积网络 (FCN) 实现在线手语识别的方法，同时从仅具有句子级注释的弱注释视频序列中学习空间和时间特征，通过引入一个手语特征增强 (GFE) 模块来提高序列对齐学习的效果，实验表明该方法在连续手语识别上有效且在在线识别中表现出了较好的性能。

    Jul, 2020

  • 面向在线手语识别和翻译

    填补聋人与听人之间沟通鸿沟的目标是手语识别。以往的研究使用了已经成熟的 CTC 模型进行训练，而本文则是首次尝试使用滑动窗口方法实现手语的在线识别。

    Jan, 2024

  • 基于 GCN 和 BERT 的姿势型手语识别

    本文提出了一种新颖的姿态识别方法，该方法采用了图卷积网络和 BERT 模型分别捕捉视频中的空间和时间信息，并通过后期融合来识别手势，实验结果在常规数据集上获得了显著的准确率提升。

    Dec, 2020

  • 通过骨架感知多模型合集进行手语识别

    该篇研究论文提出了一种基于骨架动态特征和多模态特征融合的新型骨骼感知多模态框架，以提高手语识别的准确率，并进行了三个 “孤立 SLR 数据集” 的实验验证，并且实现了最先进的 SLR 性能.

    Oct, 2021

  • 面向连续手语识别的时空多线索网络

    本研究提出了一种空时多线索（STMC）网络，采用多线索学习方法解决了视觉序列学习问题，并在三个大规模连续手语识别基准测试上取得了新的最先进表现。

    Feb, 2020

  • 不受帧序约束的手语识别：阿根廷手语的概念验证

    该研究探讨了自动手语识别的问题，提出了一种基于概率模型的手语分类方法，通过对具有 64 个类别和 3200 个样本的阿根廷手语数据集进行测试，证实了可以实现不考虑顺序的识别，并取得了 97% 的准确率。

    Oct, 2023

  • 连续手语识别技术的比较研究

    连续手语识别 (CSLR) 着重于对连续进行而没有停顿的手语姿势序列的解释。本研究对最新的深度学习 CSLR 技术进行了实证评估，并评估其在各种数据集和手语中的表现。所选择的模型实施了一系列用于提取有意义特征的方法，并采用不同的训练策略。通过在多个数据集上评估这些模型，特别是 RWTH-PHOENIX-Weather-2014、ArabSign 和 GrSL，分别代表着不同的手语，来确定它们对建模不同手语的功效。所进行的实验在所选择的数据集上建立了新的基准，并为在具有挑战性场景下评估的技术的稳健性和泛化性提供了有价值的见解。

    Jun, 2024

  • 骨架感知多模态手语识别

    提出了一个骨架感知的多模式手语识别框架 (SAM-SLR)，使用多种模态信息来提高识别率，并在 2021 年 Looking at People 大规模独立手语识别挑战赛中获得了最高性能。

    Mar, 2021