Mar, 2024

增强低资源语言的神经机器翻译：语料库开发、人工评估和可解释 AI 架构

PDF
TL;DR该研究旨在研究机器翻译中 Transformer 模型在低资源语言对（英爱尔兰语和英马拉地语）中的效果，并通过优化超参数和子词模型类型来显著提高低资源语言对的翻译质量。此外，还引入了 adaptNMT 和 adaptMLLM 两个开源应用程序，简化了神经机器翻译模型的开发、微调和部署过程，使其更容易被开发人员和翻译人员使用。
machine translationtransformer architecturelow-resource language pairsbilingual corpusneural machine translation models
发现论文，激发创造
  • 利用可比语料库诱导的双语词典进行低资源语言的神经机器翻译

    本文使用端到端的 Siamese 双向递归神经网络从 Wikipedia 的可比较多语言文章中提取并生成平行句子，证明使用所收集的数据集可以提高低资源语言对 (英―印度语和英―泰米尔语) 上的 BLEU 分数。

    Jun, 2018

  • 低资源语言的神经机器翻译

    该研究探索了低资源语言领域的神经机器翻译以及如何通过 NLP 和深度学习技术对语言模型进行改进

    Apr, 2023

  • 低资源语言的变压器：Is Féidir Linn!

    通过超参数优化，选择适当的参数并进行子词模型的正确选择，能够在英语 - 爱尔兰语低资源语言对的翻译中实现显著的性能提升，并改善了 Google 翻译的基准性能。

    Mar, 2024

  • 改进印度语系多语言神经机器翻译系统

    本文提出了一个 MNMT 系统，通过各种增强策略改进它的性能，研究了方言、语言脚本等因素在提高低资源语言翻译表现中的作用，并展示了回译和领域适应对提高源语言和目标语言翻译质量的优势。通过这些方法，我们的模型在评价指标（即一组 IL 的 BLEU（双语评估协议）得分）方面比基线模型更高效。

    Sep, 2022

  • adaptMLLM: 在低资源语言上使用集成 LLM 沙盒的多语言语言模型的微调

    通过开发 adaptMLLM，我们针对机器翻译开发了一个开放源代码应用程序，旨在解决多语言语言模型在低资源语言中开发高质量机器翻译输出方面的问题，并提供易于定制的界面以及各种模型评估指标和在应用程序中直接部署模型作为翻译服务的能力。

    Mar, 2024

  • 基于相关性引导的神经机器翻译

    我们提出了一种基于可解释性的 NMT 训练方法，应用于无监督和有监督模型训练，用于翻译英语和三种不同资源的语言 —— 法语、古吉拉特语和哈萨克语。我们的结果表明，我们的方法在低资源条件下可以有希望，优于简单的训练基线；尽管改进只是微小的，但为进一步探索这种方法和参数以及其扩展到其他语言奠定了基础。

    Nov, 2023

  • 为低资源神经机器翻译优化 Transformer

    本文研究了神经机器翻译中低资源语种的问题，通过在 IWSLT14 数据集上的实验发现，在优化超参数设置的情况下，Transformer 模型在低资源情况下的翻译质量可以提高 7.3 个 BLEU 分数。

    Nov, 2020

  • 机器翻译中印度语言的低资源状态再探讨

    本文提供并分析了一个用于印度语神经机器翻译系统的大规模多语言句子对齐语料库和强大基准的自动化框架，其中包括基线 NMT 系统，检索模块和用于公共网站的对齐模块，通过迭代增加语料库来改进系统。我们的工作还评估了设计选择，例如枢轴语言的选择和迭代式增量语料库增加的影响。与现有的印度语语料库相比，本工作不仅提供了自动化框架，还产生了一个相对较大的语料库。这个语料库使我们能够在公开的 WAT 评估基准和其他标准评估基准上获得明显改善的结果。

    Aug, 2020

  • 面向低资源语言的更优中心化神经机器翻译

    本文介绍了一种在低资源语言环境下基于汉语的多语言机器翻译方法，并采用了单语词嵌入数据增强、双语课程学习、对比重排和一种新型的 Incomplete-Trust（In-trust）损失函数，实现了优于其他先进方法的性能。

    Apr, 2022

  • 五种非洲语言低资源神经机器翻译基准

    研究了最近神经机器翻译 (NMT) 在英语和五种非洲低资源语言 (LRL) 对之间的效果，并表明多语言模型 (multilingual approach) 在某些翻译方向上有 +5 分数的提升。同时，提供标准的实验数据和测试集以供未来的研究使用。

    Mar, 2020