Feb, 2022

从书面语言到口语的机器翻译：现状与挑战

PDF
TL;DR提供了手语语言学和机器翻译的高层次介绍以说明自动手语翻译的要求。我们系统地回顾了该领域的现状，并提出了未来需要解决的挑战。文章呼吁跨学科研究，基于手语语言学进行未来的研究。此外，手语和听觉使用者的参与对于创建有用的手语翻译模型至关重要。我们建议采用人机互动的设计和开发方法。
sign languageautomatic translationmachine translationlinguisticsinterdisciplinary research
发现论文，激发创造
  • 使用 SignWriting 表现手语的口语语言和手语之间的机器翻译

    本文研究了机器翻译系统在口语和手语之间的应用，使用手语书写系统 SignWriting 作为手语的表示方式。利用神经因子化机器翻译的方法，该方法能够在手语到英语的双语转换中达到 30 BLEU 的翻译效果，在口语和手语之间的双向翻译中达到 20 BLEU 的翻译效果。这些研究结果证实了中间文本表示法对手语的自然语言处理具有重要意义。

    Oct, 2022

  • 手语识别、生成和翻译：跨学科视角

    本文介绍了一个跨学科的研究小组，他们探讨了手语识别及其翻译的挑战，讨论了需要在计算机视觉、自然语言处理、人机交互、计算机图形学、语言学和聋文化等领域集成知识的必要性，并提出了解决这些挑战的呼吁。

    Aug, 2019

  • 重新考虑句子级手语翻译

    历史上，手语机器翻译一直被认为是一个基于句子级任务的：数据集由连续的叙述切割并作为孤立的片段呈现给模型。在这项工作中，我们探索了这一任务框架的局限性。首先，我们调查了一些手语中依赖于话语级上下文的语言现象。然后，作为一个研究案例，我们进行了手语翻译的第一个人类基准，实际上是将人类置于机器学习任务框架中，而不是将整个文档作为上下文提供给人类。这个人类基准 —— 针对 How2Sign 数据集的 ASL 到英语翻译 —— 显示，在我们的样本中，对于 33% 的句子，我们流利的聋人手语翻译员只能在附加的话语级上下文中理解片段的关键部分。这些结果强调了在将机器学习应用于新领域时理解和检查示例的重要性。

    Jun, 2024

  • 基于词汇的有意义手语机器翻译的考虑

    本论文讨论了自然语言处理中自动手语处理的概念，特别是在机器翻译中应用的神经语汇翻译方法的限制和不足，并提出了对于未来手语翻译研究的具体建议，包括增强评估，改进现有数据集和强化评估标准。

    Nov, 2022

  • 基于示例的从文本到手语层级表示的机器翻译

    本文提出了一种基于 AZee 的文本到手语翻译的算法，利用特定领域的平行语料库来解决数据短缺的问题，通过检测源文本中存在的相似性，递归地利用匹配和对齐段的替换来建立一个句子的多个候选翻译，这有助于以一种生成的方式尽可能保留手语结构。最终的翻译以 AZee 表达式的形式呈现，旨在作为输入到 Avatar 合成系统中。我们提供了一个测试集来展示其表现，并观察到了一些局限性。这项工作最终开启了评估翻译和语言方面的可能性，例如准确性和语法流畅性。

    May, 2022

  • 直接语音转文本翻译的最新进展

    本文综述了直接语音翻译的当前技术状况，将现有研究工作分为三个方向：建模负担，数据稀缺和应用问题，并提出了未来工作的一些有前途的方向。

    Jun, 2023

  • 手语识别技术和算法的比较分析

    该研究比较了各种深度学习技术对手语的识别，旨在提供这一领域中最新方法和挑战的综合概述。

    May, 2023

  • 一个实时的人工智能学习手语的系统

    开发一种基于人工智能的成本效益高、资源高效和开放的技术，旨在帮助人们学习和使用手语进行交流，以促进社会的包容性。该研究分析了基于人工智能的手语解决方案，特别聚焦美国手语，取得了令人满意的初步结果，并为进一步发展奠定了基础。

    Feb, 2024

  • 上下文是否足够？将神经手语翻译推广至广泛话题领域

    从人类翻译的角度出发，我们提出了一种基于多模态变压器架构的上下文感知翻译方法，通过利用上下文信息和自信预测来消除较弱的视觉线索，在最终的变压器解码器中组合来自视频、识别出的手语词汇和前面手语序列的上下文信息，显著提高了本文提出方法在较大规模数据集和公开数据集上的机器翻译性能，近乎翻倍地提高了基线方法的 BLEU-4 分数。

    Aug, 2023

  • 可访问的多语言文本分析的机器翻译

    本文研究通过机器翻译将其他语言翻译成英文进行多语言文本分析，结果表明这种方法在情感分析，主题分析和词嵌入等分析方法上，与使用源语言进行分析的结果相当，机器翻译可以帮助计算机学者做出关于人类沟通的更具包容性和普适性的结论。

    Jan, 2023