Sep, 2023
Sem-Lex 基准测试：对 ASL 手势及其音素模型化
The Sem-Lex Benchmark: Modeling ASL Signs and Their Phonemes
Lee Kezar, Elana Pontecorvo, Adele Daniels, Connor Baer, Ruth Ferster...
TL;DR手语识别和翻译技术有潜力提高聋人手语社区的参与和包容性，但由于缺乏代表性数据，研究进展受到限制。我们引入了美国手语（ASL）建模的新资源，即 Sem-Lex 基准。该基准是目前最大的资源，包含超过 84,000 个由同意并得到补偿的聋人 ASL 手语者的孤立手语视频。我们使用 ASL-LEX 的语言信息进行一系列实验证明了 Sem-Lex 基准在孤立手语识别方面的实用性和公平性。我们使用 SL-GCN 模型显示，语音特征可达到 85% 的准确率，并且作为辅助目标对孤立手语识别有 6% 的准确率提高，整体准确率提高 2%。数据的下载指南可以在此 https URL 找到。