提供了手语语言学和机器翻译的高层次介绍以说明自动手语翻译的要求。我们系统地回顾了该领域的现状，并提出了未来需要解决的挑战。文章呼吁跨学科研究，基于手语语言学进行未来的研究。此外，手语和听觉使用者的参与对于创建有用的手语翻译模型至关重要。我们建议采用人机互动的设计和开发方法。

Feb, 2022

本文介绍了 OpenASL 数据集，包含超过 200 名大规模美国手语（ASL）-英语翻译中对手语搜索作为预训练工作的技术和融合口型和手势特征等技术，这些技术相比基线模型产生了一致的显著提高。

May, 2022

本文研究了机器翻译系统在口语和手语之间的应用，使用手语书写系统SignWriting作为手语的表示方式。利用神经因子化机器翻译的方法，该方法能够在手语到英语的双语转换中达到30 BLEU的翻译效果，在口语和手语之间的双向翻译中达到20 BLEU的翻译效果。这些研究结果证实了中间文本表示法对手语的自然语言处理具有重要意义。

Oct, 2022

ISLTranslate is introduced as the largest translation dataset for continuous Indian Sign Language, consisting of 31k ISL-English sentence/phrase pairs, which is benchmarked against a transformer-based model for ISL translation.

Jul, 2023

手语识别和翻译技术有潜力提高聋人手语社区的参与和包容性，但由于缺乏代表性数据，研究进展受到限制。我们引入了美国手语（ASL）建模的新资源，即Sem-Lex基准。该基准是目前最大的资源，包含超过84,000个由同意并得到补偿的聋人ASL手语者的孤立手语视频。我们使用ASL-LEX的语言信息进行一系列实验证明了Sem-Lex基准在孤立手语识别方面的实用性和公平性。我们使用SL-GCN模型显示，语音特征可达到85%的准确率，并且作为辅助目标对孤立手语识别有6%的准确率提高，整体准确率提高2%。数据的下载指南可以在此https URL找到。

Sep, 2023

使用大型语言模型训练手语翻译任务，提出了SignLLM框架，将手语视频转换为类似语言的表示，通过两个关键模块进行转换，同时采用标记对齐损失来增强语义兼容性，在两个广泛使用的手语翻译基准测试中取得了最先进的无注释结果。

Apr, 2024

本研究介绍了Prompt2Sign，第一个全面的多语种手语数据集，此数据集包括美国手语和其他七种手语。我们还提出了SignLLM，第一个多语种手语生成模型，包括两种新的多语种手语生成模式。基于该数据集，我们展示了SignLLM的基准结果，表明我们的模型在八种手语的手语生成任务中达到了最先进的性能。

May, 2024

在这项研究中，我们提出了iSign：用于印度手语处理的基准。我们发布了一个拥有超过118,000个视频句子/短语对的最大ISL-英语数据集，并提出了多个面向自然语言处理的任务，并通过基准模型来评估这些任务，为研究社区提供更容易访问的资源。同时，我们还提供了对ISL工作机制的一些语言学见解，填补了自然语言处理研究社区对手语的空白。

Jul, 2024

本研究解决了美国手语在主流机器翻译研究中的边缘化问题，通过引入FLEURS-ASL，将美国手语纳入多语言评估基准。该论文提出了一种统一建模的方法，并展示了新模型在ASL到英语文本的翻译中表现优于以往的基线，强调了在标准评估中纳入手语的重要性。

Aug, 2024

本研究针对美国手语（ASL）语言模型的可及性问题，通过引入美国手语知识图谱（ASLKG），将专家语言知识融入ASL模型中，以提升模型的普适性和可解释性。研究发现，利用ASLKG训练的神经符号模型在独立手势识别、未见手势的语义特征预测和YouTube-ASL视频主题分类等任务上取得了显著的准确率。

Nov, 2024