Oct, 2022

SDW-ASL: 生成大规模连续美式手语数据集的动态系统

PDF
TL;DR提出了一种连续手语数据集生成系统，在发布了包含 30k 个句子、416k 个单词、总计 104 小时的 18k 单词词汇量的最大连续手语数据集时，该系统有助于总体 ASL 处理和特别有助于 ASL 生成。
sign languagedeep learningdatasetasl productionnatural language processing
发现论文，激发创造
  • MS-ASL：用于理解美国手语的大规模数据集和基准

    本文提出了一个包括 25,000 个有注释视频的美国手语数据集，通过 I3D 架构的应用，实现了对 1000 个手势的无限制语境下的识别。

    Dec, 2018

  • 视频中基于单词的深度手语识别：一个新的大规模数据集和方法比较

    本文介绍了一个新的大规模美国手语单词语义（WLASL）数据集，并实现了基于外观和人体姿态的 2 个模型，以及提出了一种新的基于姿态的时态图卷积网络（Pose-TGCN）方法，同时模拟人体姿态轨迹中的空间和时间依赖关系，为手语识别研究提供了一个有价值的基准实验平台。

    Oct, 2019

  • 基于在线视频学习的开放领域手语翻译

    本文介绍了 OpenASL 数据集，包含超过 200 名大规模美国手语（ASL）- 英语翻译中对手语搜索作为预训练工作的技术和融合口型和手势特征等技术，这些技术相比基线模型产生了一致的显著提高。

    May, 2022

  • YouTube-ASL: 一个大规模、开放领域的美国手语 - 英语平行语料库

    本论文通过 Youtube-ASL，一个大规模的开放领域美国手语（ASL）视频语料库的介绍及研究，证明了手语机器学习的瓶颈在于数据问题，并使用 How2Sign 进行了模型基线培训及评估，并获得了新的微调技术的艺术的最高状态和首次报道的零 - shot 结果。

    Jun, 2023

  • Content4All 开放研究手语翻译数据集

    本研究的目的是为了解决计算手语研究中缺少大规模数据集的问题，并且分享了六个数据集和相关工具的收集过程以及用于推动未来研究的基准翻译结果。

    May, 2021

  • How2Sign: 一个大规模多模态连续美国手语数据集

    介绍了一个包含 80 多个小时的美国国家手语（ASL）视频及其对应的英文对话、音频和深度信息等多模态和多视角的连续手语数据集 How2Sign，并通过手语者的实验表明利用这个数据集合成的视频能够被理解，同时指出计算机视觉领域需要解决的挑战。

    Aug, 2020

  • ISLTranslate：印度手语翻译数据集

    ISLTranslate is introduced as the largest translation dataset for continuous Indian Sign Language, consisting of 31k ISL-English sentence/phrase pairs, which is benchmarked against a transformer-based model for ISL translation.

    Jul, 2023

  • ASL Citizen: 一个社区资源数据集，推进独立手势识别

    发布了迄今最大的孤立手语识别数据集 ASL Citizen，该数据集包含 83,912 个视频，由 52 名手语用户在各种环境中拍摄了 2,731 个不同的手势，并提出应将该数据集用于手语字典检索，使用我们数据集训练监督学习分类器在手语字典检索方面极大地提高了性能。

    Apr, 2023

  • SignDiff: 学习美国手语表达的扩散模型

    该研究论文介绍了一个基于深度学习的大规模美国手语（ASL）生成预训练模型，以解决对 ASL 依赖的残障人士之间的沟通障碍，并提出了用于 ASL 生成的基于条件扩散的预训练模型，同时改进了模型的准确性和质量，以及图像指标的优化。

    Aug, 2023

  • ASL-Skeleton3D 和 ASL-Phono：美式手语两个新数据集

    本文介绍了两个新的数据集，分别为三维表示和语言学表示，以提高手语识别领域的研究进展。

    Jan, 2022