Jun, 2024

重新考虑句子级手语翻译

PDF
TL;DR历史上，手语机器翻译一直被认为是一个基于句子级任务的：数据集由连续的叙述切割并作为孤立的片段呈现给模型。在这项工作中，我们探索了这一任务框架的局限性。首先，我们调查了一些手语中依赖于话语级上下文的语言现象。然后，作为一个研究案例，我们进行了手语翻译的第一个人类基准，实际上是将人类置于机器学习任务框架中，而不是将整个文档作为上下文提供给人类。这个人类基准 —— 针对 How2Sign 数据集的 ASL 到英语翻译 —— 显示，在我们的样本中，对于 33% 的句子，我们流利的聋人手语翻译员只能在附加的话语级上下文中理解片段的关键部分。这些结果强调了在将机器学习应用于新领域时理解和检查示例的重要性。
sign language machine translationlinguistic phenomenasign language translationhuman baselinediscourse-level context
发现论文，激发创造
  • 上下文是否足够？将神经手语翻译推广至广泛话题领域

    从人类翻译的角度出发，我们提出了一种基于多模态变压器架构的上下文感知翻译方法，通过利用上下文信息和自信预测来消除较弱的视觉线索，在最终的变压器解码器中组合来自视频、识别出的手语词汇和前面手语序列的上下文信息，显著提高了本文提出方法在较大规模数据集和公开数据集上的机器翻译性能，近乎翻倍地提高了基线方法的 BLEU-4 分数。

    Aug, 2023

  • 基于示例的从文本到手语层级表示的机器翻译

    本文提出了一种基于 AZee 的文本到手语翻译的算法，利用特定领域的平行语料库来解决数据短缺的问题，通过检测源文本中存在的相似性，递归地利用匹配和对齐段的替换来建立一个句子的多个候选翻译，这有助于以一种生成的方式尽可能保留手语结构。最终的翻译以 AZee 表达式的形式呈现，旨在作为输入到 Avatar 合成系统中。我们提供了一个测试集来展示其表现，并观察到了一些局限性。这项工作最终开启了评估翻译和语言方面的可能性，例如准确性和语法流畅性。

    May, 2022

  • 连续手语视频中的主题检测

    本研究介绍了手语主题检测的新型任务，基于大规模视频数据集 How2Sign，提供该任务的强基线以及常用视觉特征的比较。

    Sep, 2022

  • 指令视频中的手语翻译

    该研究使用 Transformer 和 I3D 视频特征对 How2Sign 数据集进行训练，并以降低的 BLEU 作为参考指标，获得了 8.03 的 BLEU 得分，提供了第一个开源实现，推进了自动手语翻译技术的发展。

    Apr, 2023

  • 从书面语言到口语的机器翻译：现状与挑战

    提供了手语语言学和机器翻译的高层次介绍以说明自动手语翻译的要求。我们系统地回顾了该领域的现状，并提出了未来需要解决的挑战。文章呼吁跨学科研究，基于手语语言学进行未来的研究。此外，手语和听觉使用者的参与对于创建有用的手语翻译模型至关重要。我们建议采用人机互动的设计和开发方法。

    Feb, 2022

  • 基于在线视频学习的开放领域手语翻译

    本文介绍了 OpenASL 数据集，包含超过 200 名大规模美国手语（ASL）- 英语翻译中对手语搜索作为预训练工作的技术和融合口型和手势特征等技术，这些技术相比基线模型产生了一致的显著提高。

    May, 2022

  • 转变表征：探究神经手语语言表征

    本文旨在将自然语言处理技术应用于 Sign Language Production 管道的第一步，介绍了一种基于音素表示而非基于 gloss 表示的 T2H 翻译方法，并使用 HamNoSys 提取标志的手型作为额外的监督来进一步提高性能，最终在两个数据集上均取得了 BLEU-4 得分的最佳表现。

    Sep, 2022

  • 基于词汇的有意义手语机器翻译的考虑

    本论文讨论了自然语言处理中自动手语处理的概念，特别是在机器翻译中应用的神经语汇翻译方法的限制和不足，并提出了对于未来手语翻译研究的具体建议，包括增强评估，改进现有数据集和强化评估标准。

    Nov, 2022

  • 基于计算机视觉的中国手语双向翻译系统

    该研究使用轻量级神经网络模型和 Bert-Base-Chinese 模型开发了一种适用于中文手语的实时翻译系统，经过性能测试表明其识别准确率达到了 99.3％，翻译生成的时间大约为 1.3 秒。

    Jun, 2023

  • 手语术语翻译的数据增强

    该研究提出了两个基于规则的启发式方法，从而提高了手语到文本翻译的机器翻译准确性，并成功地将美国手语（ASL）翻译成英语和德国手语（DGS）翻译成德语。

    May, 2021