May, 2024

E-TSL:具备基线方法的连续性教育土耳其手语数据集

TL;DR这项研究引入了连续的教育土耳其手语(E-TSL)数据集,收集自第5、6和8年级的在线土耳其语课程。该数据集包含1,410个视频,总计近24小时,包括来自11位手语演讲者的表演。我们开发了两种基准模型来解决这些挑战:姿势到文本转换器(P2T-T)和基于图神经网络的Transformer(GNN-T)模型。GNN-T模型在BLEU-1得分上达到19.13%,BLEU-4得分为3.28%,与现有基准相比提出了显著挑战。P2T-T模型在BLEU得分方面略有下降,但在ROUGE-L得分方面达到了更高的22.09%。此外,我们使用着名的PHOENIX-Weather 2014T数据集对我们的方法进行了验证。