自动手语翻译是一个具有巨大社会影响的研究领域，通过端到端手语翻译可以促进听力有困难的人与听力正常的人之间的交流，从而提高他们的社交生活和参与社会生活的机会。针对现有资源有限的问题，研究者构建了一个新的希腊手语视频翻译数据集，包含 29653 个视频翻译对，基于希腊小学的官方课程，该数据集覆盖了广泛的主题，并使用该数据集训练了最新的基于 Transformer 的方法，结果表明该数据集在提供可用性和实际价值方面具有潜力推动 SLT 研究。

Oct, 2023

本研究的目的是为了解决计算手语研究中缺少大规模数据集的问题，并且分享了六个数据集和相关工具的收集过程以及用于推动未来研究的基准翻译结果。

May, 2021

我们引入了一种多任务 Transformer 模型 CSLR2，可以在手语序列和口语文本之间输出联合嵌入空间，以实现大词汇连续手语识别（CSLR）和手语检索。通过构建新的数据集注释，我们在大词汇环境中对 CSLR 进行了评估，并证明了通过精心选择损失函数，同时训练模型进行 CSLR 和检索任务在性能上是互相有益的。利用 BOBSL 和英文字幕等大词汇数据集中的弱监督和嘈杂监督，我们的模型在两个任务上明显优于以往的最先进技术。

May, 2024

本文提出了使用众包平台生成的俄罗斯手语视频数据集 Slovo，其中包含 1,000 个类别的 RSL 手势，由 194 名使用者接收，同时提供了从数据收集到视频标注的整个数据集创建流程和几个利用该数据集所训练和评估的神经网络，旨在展现其教学能力。

May, 2023

本文提出了一种基于同义词和字幕 - 手语对齐的简单可扩展框架，用于自动标注手语解释电视广播中的连续手语视频，并利用标注的手语识别模型进行了假标注，从而增加已知和未知类别的标注密度。该方法可将 BOBSL BSL 手语语料库的信心自动注释数量从 670K 提高到 5M，并提供这些注释以支持手语研究社区。

Aug, 2022

该研究使用 Transformer 和 I3D 视频特征对 How2Sign 数据集进行训练，并以降低的 BLEU 作为参考指标，获得了 8.03 的 BLEU 得分，提供了第一个开源实现，推进了自动手语翻译技术的发展。

Apr, 2023

利用多模态数据和语言模型的泛化能力，通过视觉 - 文本对比学习，提出了一种多模态连续手语识别框架 SignVTCL，它整合了视频、关键点和光流等多模态数据，训练了统一的视觉骨干并获得更强大的视觉表示，同时通过视觉 - 文本对齐方法在词汇和句级别确保视觉特征与手语之间的精确对应，实验结果表明，SignVTCL 在三个数据集上取得了领先于之前方法的最新成果。

Jan, 2024

该研究介绍了解决手语识别数据稀缺的方法，利用自动化技术对英国手语视频进行数据自动提取并训练出状态良好的手语识别模型，该方法对于其他手语语种和基准测试也具有很好的预训练效果，并提供了新的数据集可用于手语识别和位置检测。

Jul, 2020

这项研究引入了连续的教育土耳其手语（E-TSL）数据集，收集自第 5、6 和 8 年级的在线土耳其语课程。该数据集包含 1,410 个视频，总计近 24 小时，包括来自 11 位手语演讲者的表演。我们开发了两种基准模型来解决这些挑战：姿势到文本转换器（P2T-T）和基于图神经网络的 Transformer（GNN-T）模型。GNN-T 模型在 BLEU-1 得分上达到 19.13％，BLEU-4 得分为 3.28％，与现有基准相比提出了显著挑战。P2T-T 模型在 BLEU 得分方面略有下降，但在 ROUGE-L 得分方面达到了更高的 22.09％。此外，我们使用着名的 PHOENIX-Weather 2014T 数据集对我们的方法进行了验证。

May, 2024

发布了迄今最大的孤立手语识别数据集 ASL Citizen，该数据集包含 83,912 个视频，由 52 名手语用户在各种环境中拍摄了 2,731 个不同的手势，并提出应将该数据集用于手语字典检索，使用我们数据集训练监督学习分类器在手语字典检索方面极大地提高了性能。

Apr, 2023