Jun, 2024

连续手语识别技术的比较研究

PDF
TL;DR连续手语识别 (CSLR) 着重于对连续进行而没有停顿的手语姿势序列的解释。本研究对最新的深度学习 CSLR 技术进行了实证评估，并评估其在各种数据集和手语中的表现。所选择的模型实施了一系列用于提取有意义特征的方法，并采用不同的训练策略。通过在多个数据集上评估这些模型，特别是 RWTH-PHOENIX-Weather-2014、ArabSign 和 GrSL，分别代表着不同的手语，来确定它们对建模不同手语的功效。所进行的实验在所选择的数据集上建立了新的基准，并为在具有挑战性场景下评估的技术的稳健性和泛化性提供了有价值的见解。
continuous sign language recognitiondeep learningcslr techniquessign languagesperformance evaluation
发现论文，激发创造
  • 利用跨语言手势改进连续手语识别

    该研究旨在通过利用多语种手语语料库来促进单一语种的连续手语识别，通过识别跨语种手语并将其作为辅助训练数据，从而提高其识别能力。实验结果表明，该方法在两个广泛使用的连续手语识别数据集上取得了最先进的性能。

    Aug, 2023

  • 两种语言的寓言：从口语监督中进行大词汇连续手语识别

    我们引入了一种多任务 Transformer 模型 CSLR2，可以在手语序列和口语文本之间输出联合嵌入空间，以实现大词汇连续手语识别（CSLR）和手语检索。通过构建新的数据集注释，我们在大词汇环境中对 CSLR 进行了评估，并证明了通过精心选择损失函数，同时训练模型进行 CSLR 和检索任务在性能上是互相有益的。利用 BOBSL 和英文字幕等大词汇数据集中的弱监督和嘈杂监督，我们的模型在两个任务上明显优于以往的最先进技术。

    May, 2024

  • 不受帧序约束的手语识别：阿根廷手语的概念验证

    该研究探讨了自动手语识别的问题，提出了一种基于概率模型的手语分类方法，通过对具有 64 个类别和 3200 个样本的阿根廷手语数据集进行测试，证实了可以实现不考虑顺序的识别，并取得了 97% 的准确率。

    Oct, 2023

  • 基于深度学习的手语识别方法综述

    通过实验评估了基于计算机视觉的手语识别方法，并引入了新的序列训练标准，讨论了许多预训练方案，并创建了带注释的希腊手语 RGB + D 数据集。

    Jul, 2020

  • 手语识别的综述：不同类型、模式和数据集

    这篇综述论文对手语识别相关的需求、挑战、问题、模态以及数据集等方面进行了全面的概述，并对过去十年的研究进展及现有现状下的 SLR 模型进行了回顾和总结，最后找到了该领域的研究差距和局限性，并提出了未来的研究方向，为读者和研究者提供了完整的关于 SLR 和最先进 SLR 模型的指导。

    Apr, 2022

  • 连续手语边界检测的 Transformer 模型

    提出了一种使用基于 Transformer 模型的新方法，该方法专注于提高准确性，同时消除对手工特征的依赖，用于连续手语识别和单独手语识别，并通过对手势键点特征进行增强和最终分类来检测连续手语视频中单独手语的边界，对两个数据集进行了评估，取得了有希望的结果。

    Feb, 2024

  • 手语识别技术和算法的比较分析

    该研究比较了各种深度学习技术对手语的识别，旨在提供这一领域中最新方法和挑战的综合概述。

    May, 2023

  • 基于视频的手语识别，无需时间分割

    该研究提出了一种用 Hierarchical Attention Network 和 Latent Space 实现连续手语识别的新型框架，该方法无需时间分割预处理、可以缩小语义差距，并在实验中得到了验证。

    Jan, 2018

  • SignVTCL: 多模态连续手语识别的视觉 - 文本对比学习增强

    利用多模态数据和语言模型的泛化能力，通过视觉 - 文本对比学习，提出了一种多模态连续手语识别框架 SignVTCL，它整合了视频、关键点和光流等多模态数据，训练了统一的视觉骨干并获得更强大的视觉表示，同时通过视觉 - 文本对齐方法在词汇和句级别确保视觉特征与手语之间的精确对应，实验结果表明，SignVTCL 在三个数据集上取得了领先于之前方法的最新成果。

    Jan, 2024

  • 用于连续手语识别的全卷积网络

    本文提出了使用全卷积网络 (FCN) 实现在线手语识别的方法，同时从仅具有句子级注释的弱注释视频序列中学习空间和时间特征，通过引入一个手语特征增强 (GFE) 模块来提高序列对齐学习的效果，实验表明该方法在连续手语识别上有效且在在线识别中表现出了较好的性能。

    Jul, 2020