Sep, 2023

SignBank+: 多语种手语翻译数据集

PDF
TL;DR该研究通过改进数据集质量和翻译系统的简化，推动了手语机器翻译领域的发展。我们介绍了 SignBank+，这是 SignBank 数据集的精简版本，为机器翻译进行了优化。与以往利用复杂分解技术进行翻译的方法不同，我们提倡一种简化的文本对文本翻译方法。我们的评估表明，基于 SignBank + 训练的模型超过了原始数据集上的模型，建立了一个新的基准，并为未来的研究提供了一个开放的资源。
sign language machine translationdataset qualitysimplificationsignbank+text-to-text translation
发现论文，激发创造
  • JWSign: 一个高度多语言的圣经翻译语料库，为手语处理提供更多样化

    通过引入一个新的大型、高度多语言的手语翻译数据集 JWSign，我们在 2,530 个小时的圣经翻译中报告了神经机器翻译实验。除了双语基线系统外，我们还训练了多语言系统，其中包括考虑手语或口语语言类型学相关性的系统。实验证明，多语言系统优于双语基线系统，在资源较丰富的场景中，聚类相关语言对翻译质量有所提升。

    Nov, 2023

  • Content4All 开放研究手语翻译数据集

    本研究的目的是为了解决计算手语研究中缺少大规模数据集的问题，并且分享了六个数据集和相关工具的收集过程以及用于推动未来研究的基准翻译结果。

    May, 2021

  • 使用 SignWriting 表现手语的口语语言和手语之间的机器翻译

    本文研究了机器翻译系统在口语和手语之间的应用，使用手语书写系统 SignWriting 作为手语的表示方式。利用神经因子化机器翻译的方法，该方法能够在手语到英语的双语转换中达到 30 BLEU 的翻译效果，在口语和手语之间的双向翻译中达到 20 BLEU 的翻译效果。这些研究结果证实了中间文本表示法对手语的自然语言处理具有重要意义。

    Oct, 2022

  • 使用手语回译的单语数据提高手语翻译

    本研究提出了一种标志性的回译（SignBT）方法，利用大规模口语文本来协助手语翻译（SLT）的训练。此外，我们还发布了一个大规模的连续 SLT 数据集 CSL-Daily，提供口语翻译和注释。通过提出的回译方法，我们实现了对先前 SLT 方法的显着改善。

    May, 2021

  • 指令视频中的手语翻译

    该研究使用 Transformer 和 I3D 视频特征对 How2Sign 数据集进行训练，并以降低的 BLEU 作为参考指标，获得了 8.03 的 BLEU 得分，提供了第一个开源实现，推进了自动手语翻译技术的发展。

    Apr, 2023

  • ISLTranslate：印度手语翻译数据集

    ISLTranslate is introduced as the largest translation dataset for continuous Indian Sign Language, consisting of 31k ISL-English sentence/phrase pairs, which is benchmarked against a transformer-based model for ISL translation.

    Jul, 2023

  • SignLLM：手语制作大型语言模型

    本研究介绍了 Prompt2Sign，第一个全面的多语种手语数据集，此数据集包括美国手语和其他七种手语。我们还提出了 SignLLM，第一个多语种手语生成模型，包括两种新的多语种手语生成模式。基于该数据集，我们展示了 SignLLM 的基准结果，表明我们的模型在八种手语的手语生成任务中达到了最先进的性能。

    May, 2024

  • SignMusketeers：大规模手语翻译的高效多流方法

    基于影像及语言学特性，本研究提出了一种有效且高效的学习手语表示的方法，专注于手势视频中的脸部、手部和身体姿态，并通过自监督学习的方式学习手语中复杂的手形和丰富的面部表情，实现对手语翻译的新突破。

    Jun, 2024

  • How2Sign: 一个大规模多模态连续美国手语数据集

    介绍了一个包含 80 多个小时的美国国家手语（ASL）视频及其对应的英文对话、音频和深度信息等多模态和多视角的连续手语数据集 How2Sign，并通过手语者的实验表明利用这个数据集合成的视频能够被理解，同时指出计算机视觉领域需要解决的挑战。

    Aug, 2020

  • BosphorusSign22k 手语识别数据集

    介绍了 BosphorusSign22k - 一个大规模的手语数据集，旨在为计算机视觉、视频识别和深度学习研究社区提供新的基准，在土耳其手语识别中拥有庞大的词汇量、本地手势者的高次数重复、高录音质量和其所包含符号的独特句法特性。提供行业最新的人体姿势估计，以鼓励其他任务，如手语技术的生产。

    Apr, 2020