ACLMar, 2022

WLASL-LEX：美国手语音韵属性识别数据集

PDF
TL;DR本研究介绍了自然语言处理（NLP）领域中较为被忽视的手语处理任务，其中重点关注手语音系学建模的任务。通过构建一个大规模的美国手语数据集并运用 数据驱动的端到端和基于特征的方法，研究表明使用基于骨骼特征提取的基于图的神经网络模型可以在不同程度上自动识别六种不同的手语音系学特性， 哪怕在没有经过训练的手语中也可以进行这种自动识别。
signed language processingphonologyamerican sign languagegraph-based neural networksend-to-end
发现论文，激发创造
  • 自然语言处理中包含手语

    本篇论文呼吁自然语言处理 (NLP) 社群将手语作为高社会和科学影响力的研究领域之一，评估了手语的语言学特征，并探讨了如何扩展 NLP 到手语，并建议采用有效的标记方法、开发基于语言学的模型、收集真实世界的手语数据、将当地的手语社区作为研究方向的积极和领导性声音。

    May, 2021

  • 利用音韵学提高符号识别效果

    通过将语音学应用于手语产生过程中，训练出的模型预测手势及其语音学特征，从而实现对独立手语识别（ISLR）的模型训练，提高了在 WLASL 基准测试上的手势识别准确性达到了近 9% 的绝对增益，帮助缩小聋听者之间的沟通鸿沟。

    Feb, 2023

  • ASL-Skeleton3D 和 ASL-Phono：美式手语两个新数据集

    本文介绍了两个新的数据集，分别为三维表示和语言学表示，以提高手语识别领域的研究进展。

    Jan, 2022

  • 视频中基于单词的深度手语识别：一个新的大规模数据集和方法比较

    本文介绍了一个新的大规模美国手语单词语义（WLASL）数据集，并实现了基于外观和人体姿态的 2 个模型，以及提出了一种新的基于姿态的时态图卷积网络（Pose-TGCN）方法，同时模拟人体姿态轨迹中的空间和时间依赖关系，为手语识别研究提供了一个有价值的基准实验平台。

    Oct, 2019

  • MS-ASL：用于理解美国手语的大规模数据集和基准

    本文提出了一个包括 25,000 个有注释视频的美国手语数据集，通过 I3D 架构的应用，实现了对 1000 个手势的无限制语境下的识别。

    Dec, 2018

  • 基于数据驱动的手语表达方式

    将连续动作生成问题转化为离散序列生成问题的创新解决方案，利用矢量量化方法以及转换器，将口语文本翻译为动作序列，并通过签名拼接方法有效地组合标记，实验证明该方法胜过以往方法，使 BLEU-1 回译得分提高了 72%。

    Apr, 2024

  • Sem-Lex 基准测试：对 ASL 手势及其音素模型化

    手语识别和翻译技术有潜力提高聋人手语社区的参与和包容性，但由于缺乏代表性数据，研究进展受到限制。我们引入了美国手语（ASL）建模的新资源，即 Sem-Lex 基准。该基准是目前最大的资源，包含超过 84,000 个由同意并得到补偿的聋人 ASL 手语者的孤立手语视频。我们使用 ASL-LEX 的语言信息进行一系列实验证明了 Sem-Lex 基准在孤立手语识别方面的实用性和公平性。我们使用 SL-GCN 模型显示，语音特征可达到 85% 的准确率，并且作为辅助目标对孤立手语识别有 6% 的准确率提高，整体准确率提高 2%。数据的下载指南可以在此 https URL 找到。

    Sep, 2023

  • 走向现实世界中的美国手语处理：数据、任务和方法

    这篇论文研究了自然环境下手语的自动处理，包括手指拼写、手势识别和手语翻译，并提出了新的数据集、任务和方法。

    Aug, 2023

  • 探索手语音系学建模策略

    我们学习了图形卷积网络来识别 ASL-LEX 2.0 中的十六种手语音素类型，通过多任务学习和课程学习等学习策略实现了对手语音素更好的建模。在 Sem-Lex 基准测试中，课程学习的平均准确率为 87％，在大多数音素类型中优于微调和多任务策略。

    Sep, 2023

  • SDW-ASL: 生成大规模连续美式手语数据集的动态系统

    提出了一种连续手语数据集生成系统，在发布了包含 30k 个句子、416k 个单词、总计 104 小时的 18k 单词词汇量的最大连续手语数据集时，该系统有助于总体 ASL 处理和特别有助于 ASL 生成。

    Oct, 2022