ECCVJul, 2020

利用口型线索扩展共同关节手语识别的规模 BSL-1K

PDF
TL;DR该研究介绍了解决手语识别数据稀缺的方法，利用自动化技术对英国手语视频进行数据自动提取并训练出状态良好的手语识别模型，该方法对于其他手语语种和基准测试也具有很好的预训练效果，并提供了新的数据集可用于手语识别和位置检测。
sign recognitiondata collectionautomated recognitionmachine translationannotation
发现论文，激发创造
  • MS-ASL：用于理解美国手语的大规模数据集和基准

    本文提出了一个包括 25,000 个有注释视频的美国手语数据集，通过 I3D 架构的应用，实现了对 1000 个手势的无限制语境下的识别。

    Dec, 2018

  • 大词汇手语视频的自动密集标注

    本文提出了一种基于同义词和字幕 - 手语对齐的简单可扩展框架，用于自动标注手语解释电视广播中的连续手语视频，并利用标注的手语识别模型进行了假标注，从而增加已知和未知类别的标注密度。该方法可将 BOBSL BSL 手语语料库的信心自动注释数量从 670K 提高到 5M，并提供这些注释以支持手语研究社区。

    Aug, 2022

  • 利用词嵌入进行术语对齐

    本文提出了一种使用大型口语语言模型将定位与相应字幕对齐的方法，通过使用单一模态，我们的方法计算成本低廉且可与现有的对齐技术相结合，我们在 mdgs 和 bobsl 数据集上定量证明了我们的方法的有效性，词对齐得分可达到 33.22 BLEU-1 得分。

    Aug, 2023

  • 两种语言的寓言：从口语监督中进行大词汇连续手语识别

    我们引入了一种多任务 Transformer 模型 CSLR2，可以在手语序列和口语文本之间输出联合嵌入空间，以实现大词汇连续手语识别（CSLR）和手语检索。通过构建新的数据集注释，我们在大词汇环境中对 CSLR 进行了评估，并证明了通过精心选择损失函数，同时训练模型进行 CSLR 和检索任务在性能上是互相有益的。利用 BOBSL 和英文字幕等大词汇数据集中的弱监督和嘈杂监督，我们的模型在两个任务上明显优于以往的最先进技术。

    May, 2024

  • 观察、阅读和查找：学习如何从多个主管中辨别迹象

    本文主要研究了如何识别手语视频中特定手语的位置，通过多种监督方法和学习框架，我们建立了一个机器学习模型并使用低样本数据验证了其有效性，并贡献了一个机器可读的英国手语字典数据集 BSLDict。

    Oct, 2020

  • 利用跨语言手势改进连续手语识别

    该研究旨在通过利用多语种手语语料库来促进单一语种的连续手语识别，通过识别跨语种手语并将其作为辅助训练数据，从而提高其识别能力。实验结果表明，该方法在两个广泛使用的连续手语识别数据集上取得了最先进的性能。

    Aug, 2023

  • 读和参与：手语视频中的时间定位

    利用 Transformer 模型，对连续的手语视频进行训练并输出 Written Tokens，从而实现手语序列中一大量手语的定位，生成大量手语词汇的注释，训练后实现 BSL-1K 标志语言识别基准测试中先前的最佳性能。

    Mar, 2021

  • 走向现实世界中的美国手语处理：数据、任务和方法

    这篇论文研究了自然环境下手语的自动处理，包括手指拼写、手势识别和手语翻译，并提出了新的数据集、任务和方法。

    Aug, 2023

  • 朝着规模化的注重隐私的手语翻译

    通过两阶段的框架提出了 SSVP-SLT，该框架应对了缺乏对齐字幕的手语数据的问题，并解决了基于大规模网络抓取的数据集存在的隐私风险，通过自监督视频预训练和面部模糊化来提高 SLT 性能和保护隐私。

    Feb, 2024

  • AUTSL：一个大规模的多模态土耳其手语数据集和基准方法

    本文介绍了一种新的大规模多模式土耳其手语数据集 (AUTSL)，为性能评估提供了基准模型；使用卷积神经网络提取特征、使用单向和双向 LSTM 模型表征时间信息，以及结合特征池化模块和时间注意力来提高模型性能。在 AUTSL 随机训练和测试集上，模型的表现达到了 95.95% 的准确度，并在提出的用户独立基准数据集上取得了 62.02% 的最佳基线模型效果。

    Aug, 2020