ACLOct, 2022

使用 SignWriting 表现手语的口语语言和手语之间的机器翻译

PDF
TL;DR本文研究了机器翻译系统在口语和手语之间的应用，使用手语书写系统 SignWriting 作为手语的表示方式。利用神经因子化机器翻译的方法，该方法能够在手语到英语的双语转换中达到 30 BLEU 的翻译效果，在口语和手语之间的双向翻译中达到 20 BLEU 的翻译效果。这些研究结果证实了中间文本表示法对手语的自然语言处理具有重要意义。
machine translationsigned languagessignwritingneural factored mtbleu
发现论文，激发创造
  • 从书面语言到口语的机器翻译：现状与挑战

    提供了手语语言学和机器翻译的高层次介绍以说明自动手语翻译的要求。我们系统地回顾了该领域的现状，并提出了未来需要解决的挑战。文章呼吁跨学科研究，基于手语语言学进行未来的研究。此外，手语和听觉使用者的参与对于创建有用的手语翻译模型至关重要。我们建议采用人机互动的设计和开发方法。

    Feb, 2022

  • sign.mt: 实时多语种手语翻译应用

    sign.mt 是一个开源应用程序，通过实时多语言双向翻译，旨在解决听障与听力人群之间的交流障碍，为口语 - 手语和手语 - 口语翻译提供可靠和无限制的通信，具备离线功能和个性化真实的手语人偶角色，支持自定义和修改以及广泛应用的翻译 API。

    Oct, 2023

  • 基于示例的从文本到手语层级表示的机器翻译

    本文提出了一种基于 AZee 的文本到手语翻译的算法，利用特定领域的平行语料库来解决数据短缺的问题，通过检测源文本中存在的相似性，递归地利用匹配和对齐段的替换来建立一个句子的多个候选翻译，这有助于以一种生成的方式尽可能保留手语结构。最终的翻译以 AZee 表达式的形式呈现，旨在作为输入到 Avatar 合成系统中。我们提供了一个测试集来展示其表现，并观察到了一些局限性。这项工作最终开启了评估翻译和语言方面的可能性，例如准确性和语法流畅性。

    May, 2022

  • 指令视频中的手语翻译

    该研究使用 Transformer 和 I3D 视频特征对 How2Sign 数据集进行训练，并以降低的 BLEU 作为参考指标，获得了 8.03 的 BLEU 得分，提供了第一个开源实现，推进了自动手语翻译技术的发展。

    Apr, 2023

  • 使用手语回译的单语数据提高手语翻译

    本研究提出了一种标志性的回译（SignBT）方法，利用大规模口语文本来协助手语翻译（SLT）的训练。此外，我们还发布了一个大规模的连续 SLT 数据集 CSL-Daily，提供口语翻译和注释。通过提出的回译方法，我们实现了对先前 SLT 方法的显着改善。

    May, 2021

  • 转变表征：探究神经手语语言表征

    本文旨在将自然语言处理技术应用于 Sign Language Production 管道的第一步，介绍了一种基于音素表示而非基于 gloss 表示的 T2H 翻译方法，并使用 HamNoSys 提取标志的手型作为额外的监督来进一步提高性能，最终在两个数据集上均取得了 BLEU-4 得分的最佳表现。

    Sep, 2022

  • 基于 STMC-Transformer 的更好手语翻译

    本研究提出了 STMC-Transformer 翻译系统，相对当前最先进技术，在 PHOENIX-Weather 2014T 数据集的亮度 - 文本翻译和视频 - 文本翻译方面提高了 5 和 7 BLEU。在 ASLG-PC12 数据集上，也有超过 16 BLEU 的提高。同时，我们证明了当前方法中的问题，即依赖于 gloss 监督会导致 SLT 表现不佳，并揭示了 gloss 是手语的低效表示方法，因此建议未来的 SLT 研究采用端到端的训练方法或使用不同的手语注释方式。

    Apr, 2020

  • 重新考虑句子级手语翻译

    历史上，手语机器翻译一直被认为是一个基于句子级任务的：数据集由连续的叙述切割并作为孤立的片段呈现给模型。在这项工作中，我们探索了这一任务框架的局限性。首先，我们调查了一些手语中依赖于话语级上下文的语言现象。然后，作为一个研究案例，我们进行了手语翻译的第一个人类基准，实际上是将人类置于机器学习任务框架中，而不是将整个文档作为上下文提供给人类。这个人类基准 —— 针对 How2Sign 数据集的 ASL 到英语翻译 —— 显示，在我们的样本中，对于 33% 的句子，我们流利的聋人手语翻译员只能在附加的话语级上下文中理解片段的关键部分。这些结果强调了在将机器学习应用于新领域时理解和检查示例的重要性。

    Jun, 2024

  • Sign2GPT：利用大型语言模型进行无术语手语翻译

    利用大规模预训练视觉和语言模型通过轻量级适配器实现无语言标注的手语翻译的新型框架 Sign2GPT，在两个公共基准手语翻译数据集上评估并取得明显优于现有技术的无语言标注翻译性能提升。

    May, 2024

  • 美国手语视频文本翻译

    手语转文字是一项关键技术，可以消除听障者之间的交流障碍。我们在最近发表的研究上进行复制并进行改进，通过使用 BLEU 和 rBLEU 度量来评估模型的翻译质量。在我们的消融研究中，我们发现模型的性能受到优化器、激活函数和标签平滑的显著影响。进一步的研究旨在改进视觉特征捕捉、增强解码器的利用以及整合预训练解码器以获得更好的翻译结果。我们的源代码可供查看以便复制我们的结果并鼓励未来研究。

    Feb, 2024