Oct, 2020

观察、阅读和查找：学习如何从多个主管中辨别迹象

PDF
TL;DR本文主要研究了如何识别手语视频中特定手语的位置，通过多种监督方法和学习框架，我们建立了一个机器学习模型并使用低样本数据验证了其有效性，并贡献了一个机器可读的英国手语字典数据集 BSLDict。
sign spottingcontinuous sign languagesupervisionlearning frameworkbritish sign language
发现论文，激发创造
  • 利用词嵌入进行术语对齐

    本文提出了一种使用大型口语语言模型将定位与相应字幕对齐的方法，通过使用单一模态，我们的方法计算成本低廉且可与现有的对齐技术相结合，我们在 mdgs 和 bobsl 数据集上定量证明了我们的方法的有效性，词对齐得分可达到 33.22 BLEU-1 得分。

    Aug, 2023

  • 读和参与：手语视频中的时间定位

    利用 Transformer 模型，对连续的手语视频进行训练并输出 Written Tokens，从而实现手语序列中一大量手语的定位，生成大量手语词汇的注释，训练后实现 BSL-1K 标志语言识别基准测试中先前的最佳性能。

    Mar, 2021

  • 大词汇手语视频的自动密集标注

    本文提出了一种基于同义词和字幕 - 手语对齐的简单可扩展框架，用于自动标注手语解释电视广播中的连续手语视频，并利用标注的手语识别模型进行了假标注，从而增加已知和未知类别的标注密度。该方法可将 BOBSL BSL 手语语料库的信心自动注释数量从 670K 提高到 5M，并提供这些注释以支持手语研究社区。

    Aug, 2022

  • 利用跨语言手势改进连续手语识别

    该研究旨在通过利用多语种手语语料库来促进单一语种的连续手语识别，通过识别跨语种手语并将其作为辅助训练数据，从而提高其识别能力。实验结果表明，该方法在两个广泛使用的连续手语识别数据集上取得了最先进的性能。

    Aug, 2023

  • 利用口型线索扩展共同关节手语识别的规模 BSL-1K

    该研究介绍了解决手语识别数据稀缺的方法，利用自动化技术对英国手语视频进行数据自动提取并训练出状态良好的手语识别模型，该方法对于其他手语语种和基准测试也具有很好的预训练效果，并提供了新的数据集可用于手语识别和位置检测。

    Jul, 2020

  • 连续手语视频中的主题检测

    本研究介绍了手语主题检测的新型任务，基于大规模视频数据集 How2Sign，提供该任务的强基线以及常用视觉特征的比较。

    Sep, 2022

  • 使用自由形式的文本查询进行手语视频检索

    本文介绍了一种通过迭代学习的 SPOT-ALIGN 框架来改善印式手语检索与识别的效果，该框架利用大规模的美式手语数据集 How2Sign，使用交叉模态嵌入技术以及自由文本查询来挖掘手语视频集合并且解决标注数据不足的问题。

    Jan, 2022

  • 两种语言的寓言：从口语监督中进行大词汇连续手语识别

    我们引入了一种多任务 Transformer 模型 CSLR2，可以在手语序列和口语文本之间输出联合嵌入空间，以实现大词汇连续手语识别（CSLR）和手语检索。通过构建新的数据集注释，我们在大词汇环境中对 CSLR 进行了评估，并证明了通过精心选择损失函数，同时训练模型进行 CSLR 和检索任务在性能上是互相有益的。利用 BOBSL 和英文字幕等大词汇数据集中的弱监督和嘈杂监督，我们的模型在两个任务上明显优于以往的最先进技术。

    May, 2024

  • 使用 LLM 将标志识别转换为口语句子

    引入一种混合式 SLT 方法 Spotter+GPT，旨在从手语视频中生成口语句子，通过训练在语言手语数据集上的手语识别器和预训练的大型语言模型来提高 SLT 性能。

    Mar, 2024

  • SignVTCL: 多模态连续手语识别的视觉 - 文本对比学习增强

    利用多模态数据和语言模型的泛化能力，通过视觉 - 文本对比学习，提出了一种多模态连续手语识别框架 SignVTCL，它整合了视频、关键点和光流等多模态数据，训练了统一的视觉骨干并获得更强大的视觉表示，同时通过视觉 - 文本对齐方法在词汇和句级别确保视觉特征与手语之间的精确对应，实验结果表明，SignVTCL 在三个数据集上取得了领先于之前方法的最新成果。

    Jan, 2024