EMNLPMay, 2022

基于在线视频学习的开放领域手语翻译

PDF
TL;DR本文介绍了 OpenASL 数据集，包含超过 200 名大规模美国手语（ASL）- 英语翻译中对手语搜索作为预训练工作的技术和融合口型和手势特征等技术，这些技术相比基线模型产生了一致的显著提高。
sign language translationopenasl datasetpretext taskmouthing and handshape featurestranslation quality
发现论文，激发创造
  • YouTube-ASL: 一个大规模、开放领域的美国手语 - 英语平行语料库

    本论文通过 Youtube-ASL，一个大规模的开放领域美国手语（ASL）视频语料库的介绍及研究，证明了手语机器学习的瓶颈在于数据问题，并使用 How2Sign 进行了模型基线培训及评估，并获得了新的微调技术的艺术的最高状态和首次报道的零 - shot 结果。

    Jun, 2023

  • Content4All 开放研究手语翻译数据集

    本研究的目的是为了解决计算手语研究中缺少大规模数据集的问题，并且分享了六个数据集和相关工具的收集过程以及用于推动未来研究的基准翻译结果。

    May, 2021

  • MS-ASL：用于理解美国手语的大规模数据集和基准

    本文提出了一个包括 25,000 个有注释视频的美国手语数据集，通过 I3D 架构的应用，实现了对 1000 个手势的无限制语境下的识别。

    Dec, 2018

  • SDW-ASL: 生成大规模连续美式手语数据集的动态系统

    提出了一种连续手语数据集生成系统，在发布了包含 30k 个句子、416k 个单词、总计 104 小时的 18k 单词词汇量的最大连续手语数据集时，该系统有助于总体 ASL 处理和特别有助于 ASL 生成。

    Oct, 2022

  • 走向现实世界中的美国手语处理：数据、任务和方法

    这篇论文研究了自然环境下手语的自动处理，包括手指拼写、手势识别和手语翻译，并提出了新的数据集、任务和方法。

    Aug, 2023

  • How2Sign: 一个大规模多模态连续美国手语数据集

    介绍了一个包含 80 多个小时的美国国家手语（ASL）视频及其对应的英文对话、音频和深度信息等多模态和多视角的连续手语数据集 How2Sign，并通过手语者的实验表明利用这个数据集合成的视频能够被理解，同时指出计算机视觉领域需要解决的挑战。

    Aug, 2020

  • 视频中基于单词的深度手语识别：一个新的大规模数据集和方法比较

    本文介绍了一个新的大规模美国手语单词语义（WLASL）数据集，并实现了基于外观和人体姿态的 2 个模型，以及提出了一种新的基于姿态的时态图卷积网络（Pose-TGCN）方法，同时模拟人体姿态轨迹中的空间和时间依赖关系，为手语识别研究提供了一个有价值的基准实验平台。

    Oct, 2019

  • 指令视频中的手语翻译

    该研究使用 Transformer 和 I3D 视频特征对 How2Sign 数据集进行训练，并以降低的 BLEU 作为参考指标，获得了 8.03 的 BLEU 得分，提供了第一个开源实现，推进了自动手语翻译技术的发展。

    Apr, 2023

  • 简单的多模态迁移学习基准方法用于手语翻译

    本文提出了一种简单的基于迁移学习的手语翻译模型，通过预训练模型的视觉网络和语言网络来完成迁移学习，进一步提高了手语翻译模型效果。经实验证明，该模型能够显著优于之前的基于手语翻译结果，为今后的手语翻译研究提供了有效的基准。

    Mar, 2022

  • ASL Citizen: 一个社区资源数据集，推进独立手势识别

    发布了迄今最大的孤立手语识别数据集 ASL Citizen，该数据集包含 83,912 个视频，由 52 名手语用户在各种环境中拍摄了 2,731 个不同的手势，并提出应将该数据集用于手语字典检索，使用我们数据集训练监督学习分类器在手语字典检索方面极大地提高了性能。

    Apr, 2023