Nov, 2023

面向美国手语的基于语言的计算机手势识别的挑战

PDF
TL;DR电脑识别视频中孤立符号存在着一些困难，其中包括手语者之间的口头和非口头的同步变化以及特定符号的实现中存在的社会语言学变化。本文概述了这些挑战，并基于大规模的语言学注释视频数据的发现，对美国手语的符号结构中的某些规律进行了讨论。
computer-based recognitionisolated signsvideosociolinguistic variationamerican sign language
发现论文，激发创造
  • 利用跨语言手势改进连续手语识别

    该研究旨在通过利用多语种手语语料库来促进单一语种的连续手语识别，通过识别跨语种手语并将其作为辅助训练数据，从而提高其识别能力。实验结果表明，该方法在两个广泛使用的连续手语识别数据集上取得了最先进的性能。

    Aug, 2023

  • 手语识别技术和算法的比较分析

    该研究比较了各种深度学习技术对手语的识别，旨在提供这一领域中最新方法和挑战的综合概述。

    May, 2023

  • 走向现实世界中的美国手语处理：数据、任务和方法

    这篇论文研究了自然环境下手语的自动处理，包括手指拼写、手势识别和手语翻译，并提出了新的数据集、任务和方法。

    Aug, 2023

  • 视频中无词典手语识别：数据、模型和手势者自适应

    研究美国手语中指拼字字母的视频序列识别问题，并通过收集和注释新的连续指拼视频数据集，比较多种类型的识别器，探索签名者差异问题。基于深度神经网络的特征，我们的半马尔可夫条件随机场模型在签名者依赖和多签名者情景下均取得较高的字母识别准确率。

    Sep, 2016

  • 连续手语识别技术的比较研究

    连续手语识别 (CSLR) 着重于对连续进行而没有停顿的手语姿势序列的解释。本研究对最新的深度学习 CSLR 技术进行了实证评估，并评估其在各种数据集和手语中的表现。所选择的模型实施了一系列用于提取有意义特征的方法，并采用不同的训练策略。通过在多个数据集上评估这些模型，特别是 RWTH-PHOENIX-Weather-2014、ArabSign 和 GrSL，分别代表着不同的手语，来确定它们对建模不同手语的功效。所进行的实验在所选择的数据集上建立了新的基准，并为在具有挑战性场景下评估的技术的稳健性和泛化性提供了有价值的见解。

    Jun, 2024

  • MS-ASL：用于理解美国手语的大规模数据集和基准

    本文提出了一个包括 25,000 个有注释视频的美国手语数据集，通过 I3D 架构的应用，实现了对 1000 个手势的无限制语境下的识别。

    Dec, 2018

  • 连续手语视频中的主题检测

    本研究介绍了手语主题检测的新型任务，基于大规模视频数据集 How2Sign，提供该任务的强基线以及常用视觉特征的比较。

    Sep, 2022

  • 不受帧序约束的手语识别：阿根廷手语的概念验证

    该研究探讨了自动手语识别的问题，提出了一种基于概率模型的手语分类方法，通过对具有 64 个类别和 3200 个样本的阿根廷手语数据集进行测试，证实了可以实现不考虑顺序的识别，并取得了 97% 的准确率。

    Oct, 2023

  • 基于深度学习的手语识别方法综述

    通过实验评估了基于计算机视觉的手语识别方法，并引入了新的序列训练标准，讨论了许多预训练方案，并创建了带注释的希腊手语 RGB + D 数据集。

    Jul, 2020

  • 手语识别、生成和翻译：跨学科视角

    本文介绍了一个跨学科的研究小组，他们探讨了手语识别及其翻译的挑战，讨论了需要在计算机视觉、自然语言处理、人机交互、计算机图形学、语言学和聋文化等领域集成知识的必要性，并提出了解决这些挑战的呼吁。

    Aug, 2019