提出一种转录目标单语言数据为其伪吉祥语的简单高效的规则转换方法,从而增强 SLT 翻译的自动化,实验结果表明,该方法能够显着提高 SLT 的性能,尤其是在 PHEONIX-WEATHER 2014T 和 ASLG-PC12 等两个 SLT 基准数据集上实现了最新成果。
Apr, 2023
基于视觉 - 语言预训练的无手语互译(GFSLT-VLP)方法通过结合对比式语言 - 图像预训练(CLIP)和掩码自监督学习,构建了一个端到端的模型,实现了在 PHOENIX14T 数据集上的 BLEU-4 分数大幅提升(> +5),取得了与最先进的无手语互译方法相当的竞争性结果。
Jul, 2023
本文提出了 GASLT 模型,使用 gloss attention 帮助模型理解手语视频,以及从自然语言模型中传递句子相似性的知识来帮助模型理解手语视频,实验结果表明,我们的 GASLT 模型在多个大型手语数据集上明显优于现有方法。
利用大规模预训练视觉和语言模型通过轻量级适配器实现无语言标注的手语翻译的新型框架 Sign2GPT,在两个公共基准手语翻译数据集上评估并取得明显优于现有技术的无语言标注翻译性能提升。
May, 2024
本研究提出了一种标志性的回译(SignBT)方法,利用大规模口语文本来协助手语翻译(SLT)的训练。此外,我们还发布了一个大规模的连续 SLT 数据集 CSL-Daily,提供口语翻译和注释。通过提出的回译方法,我们实现了对先前 SLT 方法的显着改善。
May, 2021
本论文讨论了自然语言处理中自动手语处理的概念,特别是在机器翻译中应用的神经语汇翻译方法的限制和不足,并提出了对于未来手语翻译研究的具体建议,包括增强评估,改进现有数据集和强化评估标准。
Nov, 2022
本文介绍了 GloFE 框架,该框架解决了无手语注释的手语翻译问题,并通过利用手语和口语的共同语义以及密码比对,在包括 OpenASL 和 How2Sign 在内的大型数据集上获得了最新的结果。
May, 2023
我们的研究通过利用预训练的大型语言模型(LLMs)、数据增强和新的标签平滑损失函数,在中间注释的视频中,专注于 Gloss2Text 翻译阶段,并在 PHOENIX Weather 2014T 数据集上的广泛实验和消融研究中取得了显著的性能提升,为手语翻译领域的研究和发展提供了有效的方法和有前景的方向。
Jul, 2024
本研究提出了 STMC-Transformer 翻译系统,相对当前最先进技术,在 PHOENIX-Weather 2014T 数据集的亮度 - 文本翻译和视频 - 文本翻译方面提高了 5 和 7 BLEU。在 ASLG-PC12 数据集上,也有超过 16 BLEU 的提高。同时,我们证明了当前方法中的问题,即依赖于 gloss 监督会导致 SLT 表现不佳,并揭示了 gloss 是手语的低效表示方法,因此建议未来的 SLT 研究采用端到端的训练方法或使用不同的手语注释方式。
Apr, 2020
提出一种名为交叉模态数据增强(XmDA)的框架,以通过从标记数据中利用伪 Gloss-Text 对实现从手语视频到文本的端到端手语翻译