Dec, 2022

Lego-MT: 面向大规模多语机器翻译的可拆卸模型

PDF
TL;DR本文提出了一种名为 Lego-MT 的多向分支神经机器翻译模型，通过局部化训练，将不同的分支映射到一个统一的空间中，达到高效、可分离的效果，并在收集的包含 7 个语言中心数据的大型开源翻译基准测试中，取得了超过 4 个 BLEU 的提升，优于 M2M-100 模型。
multilingual neural machine translationdecentralized modelslego-mttranslation benchmarkbleu
发现论文，激发创造
  • 构建可提供任意 X-Y 翻译的多语言机器翻译系统

    本文旨在讨论如何通过两阶段训练策略实现多语言神经机器翻译系统，以解决低效率的问题，并在 WMT'21 多语言翻译任务中进行实验验证，证明我们的系统在大多数方向上优于基线模型，并且不需要架构修改或额外数据收集。

    Jun, 2022

  • 大规模多语言神经机器翻译

    本文探讨了多语种神经机器翻译的极限，通过实验培训了适用于 102 种语言的模型，并在 59 种语言上表现出了优异的翻译效果，表明大规模多语种神经机器翻译模型对低资源环境下的翻译质量有积极支持和刺激。

    Feb, 2019

  • 完整的多语种神经机器翻译

    本文着眼于多语种神经机器翻译模型在英语为中心的双语语料库上的训练，结合多方对齐的语料库重新构建了完整图模型，展示了该模型在多语种翻译中的有效性和竞争力。

    Oct, 2020

  • 语言模型是优秀的翻译器

    该研究表明，预训练的单一语言模型（LM4MT）可以与强大的编码器 - 解码器 NMT 模型在标准机器翻译基准测试中取得可比较的性能，LM4MT 还可以轻松利用源侧文本作为额外的监督。LM4MT 可以为源语言和目标语言提供统一的表示形式，在跨语言知识转移方面表现更好，并在基于中间语言和零样本翻译任务中获得显著的优势。

    Jun, 2021

  • 超越以英语为中心的多语言机器翻译

    本研究建立了一种真正的 Many-to-Many 多语言翻译模型，可以直接在 100 种语言之间进行翻译，并通过密集扩展和语言特定的稀疏参数提高模型质量，优于 WMT 单一系统的表现。

    Oct, 2020

  • 分布式稳健多语言机器翻译

    本论文提出了一种新的 MNMT 学习目标，基于分布式鲁棒优化，使得这个方法在多种语言对上都可以均衡地表现，并展示了如何实际优化大型翻译语料库。经过广泛实验，证明我们的方法在平均和单个语言翻译表现方面始终优于强基线方法在多对一和一对多的翻译设置下。

    Sep, 2021

  • 多语言神经机器翻译的多任务学习

    提出了一种基于多任务学习的框架，通过对单语数据的两个去噪任务和双语数据的翻译任务联合训练模型，显著提高了多语言 NMT 系统的翻译质量，并在零样本学习的情况下证明了该方法的有效性。

    Oct, 2020

  • Google 的多语言神经机器翻译系统：实现零样本翻译

    该研究提出一种简单的解决方案，使用单个神经机器翻译模型在多种语言之间进行翻译，并且通过在输入句子的开头引入人工标记来指定所需的目标语言，这种方法不需要更改模型框架，该模型的剩余组件包括编码器、解码器和注意力是不变的，并共享所有语言。我们的方法使用共享的词块词汇表，不需要增加任何参数，在保持模型参数总数恒定的情况下，还经常提高所有涉及的语言对的翻译质量，甚至可以在训练期间从未看到的语言对之间进行隐式桥接，因此，我们的翻译模型不限于训练时的语言对，具有一定的通用性和迁移能力。

    Nov, 2016

  • 重新审视模块化多语言神经机器翻译以满足工业需求

    本研究对多语言神经机器翻译模型重回共享同一语言模块作为一种实用的替代方法，发现使用多路径训练可将模型的性能提升到与要求相当的水平，而增量学习可比单一训练模式具有更好的效果，在工业应用中是一种有竞争力的候选模型。

    Oct, 2020

  • 野外大规模多语言神经机器翻译：发现与挑战

    我们致力于构建一款通用的神经机器翻译系统，通过构建一个单一的大规模多语言 NMT 模型，实现了 103 种语言之间的翻译，带有有效的迁移学习能力，显着提高了低资源语言的翻译质量，同时保持高资源语言翻译质量与竞争双语基线相当，为实现通用 NMT 模型的质量和实用性提供了多个方面的模型构建分析，并指出未来研究的方向和需进一步解决的问题。

    Jul, 2019