该研究提出了一种新颖的神经翻译模型，基于动态图和多模态特征融合，结合手语语言学上的语意信息，以解决其它神经模型中可能存在的语意信息缺失问题。实验表明该模型可以在手语翻译方面取得更好的效果。

Nov, 2022

本研究提出了 STMC-Transformer 翻译系统，相对当前最先进技术，在 PHOENIX-Weather 2014T 数据集的亮度 - 文本翻译和视频 - 文本翻译方面提高了 5 和 7 BLEU。在 ASLG-PC12 数据集上，也有超过 16 BLEU 的提高。同时，我们证明了当前方法中的问题，即依赖于 gloss 监督会导致 SLT 表现不佳，并揭示了 gloss 是手语的低效表示方法，因此建议未来的 SLT 研究采用端到端的训练方法或使用不同的手语注释方式。

Apr, 2020

引入一种混合式 SLT 方法 Spotter+GPT，旨在从手语视频中生成口语句子，通过训练在语言手语数据集上的手语识别器和预训练的大型语言模型来提高 SLT 性能。

Mar, 2024

历史上，手语机器翻译一直被认为是一个基于句子级任务的：数据集由连续的叙述切割并作为孤立的片段呈现给模型。在这项工作中，我们探索了这一任务框架的局限性。首先，我们调查了一些手语中依赖于话语级上下文的语言现象。然后，作为一个研究案例，我们进行了手语翻译的第一个人类基准，实际上是将人类置于机器学习任务框架中，而不是将整个文档作为上下文提供给人类。这个人类基准 —— 针对 How2Sign 数据集的 ASL 到英语翻译 —— 显示，在我们的样本中，对于 33% 的句子，我们流利的聋人手语翻译员只能在附加的话语级上下文中理解片段的关键部分。这些结果强调了在将机器学习应用于新领域时理解和检查示例的重要性。

Jun, 2024

该研究使用 Transformer 和 I3D 视频特征对 How2Sign 数据集进行训练，并以降低的 BLEU 作为参考指标，获得了 8.03 的 BLEU 得分，提供了第一个开源实现，推进了自动手语翻译技术的发展。

Apr, 2023

提出 ConSLT，结合对比学习和手语翻译的解码过程，从而学习有效的标记表示，实验结果表明，ConSLT 比强基线表现更好。

Apr, 2022

本文提出一种端到端模型，不需要手势序列，只使用文本，其由 Transformer 网络和一种新型的局部赢者采取所有层组成，并演示了其在 PHOENIX 2014T 基准测试中达到了最佳 BLEU-4 分数，但没有使用手势进行模型训练，并且内存占用减少了 70％以上。

Sep, 2021

本研究提出了一种任务感知的指令网络，即 TIN-SLT，用于手语翻译，通过引入指令模块和基于学习的特征融合策略到 Transformer 网络中，从而充分利用预训练模型的语言能力来进一步提高翻译性能。另外，通过探索手语词汇和目标口语的表示空间，我们提出了一种多级数据增强方案来调整训练集的数据分布。我们在两个具有挑战性的基准数据集 PHOENIX-2014-T 和 ASLG-PC12 上进行了大量实验，其中我们的方法在 BLEU-4 方面的表现比以前的最佳解决方案提高了 1.65 和 1.42。

Apr, 2022

我们提出的多语言语音翻译方法可以不依赖 MultiSLT 数据集，仅基于 ASR 和 MultiNMT 数据进行训练，通过将语音编码器与 MultiNMT 架构耦合可以在零 - shot 场景下实现类似双语翻译的效果，在我们实验的四种不同语言中，通过使用适配器模块可以在提议的架构上实现 + 6 BLEU 点的一致改进和 + 1 BLEU 点的端到端基线改进。

Nov, 2020

该论文提出了一种新颖的用于手语翻译的深度学习体系结构，称为分层时空图神经网络，在高层和细节层次上建模手语，并使用图卷积和图自我注意机制来描述局部和全局信息特性，并在基准数据集上进行了实验验证。

Nov, 2021