ICCVOct, 2023

一种新的端到端手语翻译数据集：希腊小学数据集

PDF
TL;DR自动手语翻译是一个具有巨大社会影响的研究领域，通过端到端手语翻译可以促进听力有困难的人与听力正常的人之间的交流，从而提高他们的社交生活和参与社会生活的机会。针对现有资源有限的问题，研究者构建了一个新的希腊手语视频翻译数据集，包含 29653 个视频翻译对，基于希腊小学的官方课程，该数据集覆盖了广泛的主题，并使用该数据集训练了最新的基于 Transformer 的方法，结果表明该数据集在提供可用性和实际价值方面具有潜力推动 SLT 研究。
automatic sign language translationend-to-end slthard-of-hearinggreek sign languagetransformer-based methods
发现论文，激发创造
  • E-TSL：具备基线方法的连续性教育土耳其手语数据集

    这项研究引入了连续的教育土耳其手语（E-TSL）数据集，收集自第 5、6 和 8 年级的在线土耳其语课程。该数据集包含 1,410 个视频，总计近 24 小时，包括来自 11 位手语演讲者的表演。我们开发了两种基准模型来解决这些挑战：姿势到文本转换器（P2T-T）和基于图神经网络的 Transformer（GNN-T）模型。GNN-T 模型在 BLEU-1 得分上达到 19.13％，BLEU-4 得分为 3.28％，与现有基准相比提出了显著挑战。P2T-T 模型在 BLEU 得分方面略有下降，但在 ROUGE-L 得分方面达到了更高的 22.09％。此外，我们使用着名的 PHOENIX-Weather 2014T 数据集对我们的方法进行了验证。

    May, 2024

  • 指令视频中的手语翻译

    该研究使用 Transformer 和 I3D 视频特征对 How2Sign 数据集进行训练，并以降低的 BLEU 作为参考指标，获得了 8.03 的 BLEU 得分，提供了第一个开源实现，推进了自动手语翻译技术的发展。

    Apr, 2023

  • 使用单语数据改进手语翻译

    提出一种转录目标单语言数据为其伪吉祥语的简单高效的规则转换方法，从而增强 SLT 翻译的自动化，实验结果表明，该方法能够显着提高 SLT 的性能，尤其是在 PHEONIX-WEATHER 2014T 和 ASLG-PC12 等两个 SLT 基准数据集上实现了最新成果。

    Apr, 2023

  • Content4All 开放研究手语翻译数据集

    本研究的目的是为了解决计算手语研究中缺少大规模数据集的问题，并且分享了六个数据集和相关工具的收集过程以及用于推动未来研究的基准翻译结果。

    May, 2021

  • ISLTranslate：印度手语翻译数据集

    ISLTranslate is introduced as the largest translation dataset for continuous Indian Sign Language, consisting of 31k ISL-English sentence/phrase pairs, which is benchmarked against a transformer-based model for ISL translation.

    Jul, 2023

  • 一份从手语翻译电视新闻中获得的香港手语语料库

    本研究介绍了 TVB-HKSL-News，这是一个通过 7 个月的时间从电视新闻节目中收集的香港手语（HKSL）数据集。该数据集旨在为 HKSL 提供丰富资源，支持大词汇连续手语识别（SLR）和翻译（SLT）的研究。通过自动化收集数据的方法，我们相信该收集方法可以轻松扩展到为未来的 SLT 收集更多手语数据，适用于任何手语，如果有这样的手语口译视频。我们还在数据集上运行了一个最先进的 SLR / SLT 模型，得到了 34.08％的基准 SLR 词错误率和 23.58 的基准 SLT BLEU-4 分数，以便为该数据集未来的研究提供基准。

    May, 2024

  • 朝着规模化的注重隐私的手语翻译

    通过两阶段的框架提出了 SSVP-SLT，该框架应对了缺乏对齐字幕的手语数据的问题，并解决了基于大规模网络抓取的数据集存在的隐私风险，通过自监督视频预训练和面部模糊化来提高 SLT 性能和保护隐私。

    Feb, 2024

  • 非干涉式端到端手语翻译

    本文介绍了 GloFE 框架，该框架解决了无手语注释的手语翻译问题，并通过利用手语和口语的共同语义以及密码比对，在包括 OpenASL 和 How2Sign 在内的大型数据集上获得了最新的结果。

    May, 2023

  • 基于 STMC-Transformer 的更好手语翻译

    本研究提出了 STMC-Transformer 翻译系统，相对当前最先进技术，在 PHOENIX-Weather 2014T 数据集的亮度 - 文本翻译和视频 - 文本翻译方面提高了 5 和 7 BLEU。在 ASLG-PC12 数据集上，也有超过 16 BLEU 的提高。同时，我们证明了当前方法中的问题，即依赖于 gloss 监督会导致 SLT 表现不佳，并揭示了 gloss 是手语的低效表示方法，因此建议未来的 SLT 研究采用端到端的训练方法或使用不同的手语注释方式。

    Apr, 2020

  • 手语术语翻译的数据增强

    该研究提出了两个基于规则的启发式方法，从而提高了手语到文本翻译的机器翻译准确性，并成功地将美国手语（ASL）翻译成英语和德国手语（DGS）翻译成德语。

    May, 2021