Nov, 2016

Google 的多语言神经机器翻译系统：实现零样本翻译

PDF
TL;DR该研究提出一种简单的解决方案，使用单个神经机器翻译模型在多种语言之间进行翻译，并且通过在输入句子的开头引入人工标记来指定所需的目标语言，这种方法不需要更改模型框架，该模型的剩余组件包括编码器、解码器和注意力是不变的，并共享所有语言。我们的方法使用共享的词块词汇表，不需要增加任何参数，在保持模型参数总数恒定的情况下，还经常提高所有涉及的语言对的翻译质量，甚至可以在训练期间从未看到的语言对之间进行隐式桥接，因此，我们的翻译模型不限于训练时的语言对，具有一定的通用性和迁移能力。
发现论文，激发创造
  • 零样本神经机器翻译中的缺失元素

    本文研究了多语言神经机器翻译模型的零样本翻译问题，提出了基于辅助损失的方法，并在 WMT14 英语 - 法语 / 德语上实现了与基于中介语的模型相媲美的零样本翻译效果，同时在 IWSLT 2017 共享任务中验证了该方法的易于扩展性。

    Mar, 2019

  • 零资源语言的多语言神经机器翻译

    本篇论文介绍了如何使用多语言神经机器翻译（multilingual NMT）解决低资源语种翻译问题，提出了一种基于迭代自训练的方法可以利用单语数据来提高零样本翻译的性能。实验结果表明，多语言 NMT 优于传统的双语 NMT，Transformer 模型优于循环神经网络模型，零样本 NMT 优于传统的基于中间语的翻译方法，甚至与完全训练的双语系统相当。

    Sep, 2019

  • 改进大规模多语言神经机器翻译和零样例翻译

    本文探讨了如何改善大规模多语言神经机器翻译模型的性能，并提出了加强模型能力、引入语言特定组件和加深神经机器翻译结构以支持具有不同类型学特征的语言对，同时通过随机在线回译来解决离线训练中未出现的语言对翻译问题。实验结果表明，本方法在一对多和多对多设置中缩小了双语模型的性能差距，并将零 - shot 表现提高约 10 BLEU，接近传统的基于中间语言的方法。

    Apr, 2020

  • 利用语言无关约束改进零 - shot 翻译

    通过设计归一化方法来改进 Transformer 模型以实现对未在训练过程中出现的语言对进行零 - shot 机器翻译，此方法可使系统在 IWSLT 2017 多语言数据集中平均提高 2.23 BLEU 分数。

    Jun, 2019

  • 零样本双向机器翻译

    本研究提出了一种基于无监督学习和半监督学习的组合方法，将双重学习与零样本学习相结合，通过加强翻译任务的对偶性，并且只需要被翻译成的单一语言的单语数据，来优化机器翻译质量，结果表明该方法在零样本条件下英语、西班牙语和法语三者之间，取得了较传统 NMT 系统更好的翻译表现。

    May, 2018

  • 多语言机器翻译的神经国际语

    本研究将显式神经间语纳入多语言编码 - 解码神经机器翻译（NMT）体系结构中，证明该模型通过直接零 - shot 翻译（不使用中转翻译）并使用源语句嵌入来创建英语 Yelp 评论分类器，该分类器能够通过神经间语协调法也对法语和德语评论进行分类，并且即使我们使用的参数数量比成对的 NMT 模型集合少，但我们的方法对于 WMT15 中的每个语言对产生了相当的 BLEU 得分。

    Apr, 2018

  • 大规模多语言神经机器翻译

    本文探讨了多语种神经机器翻译的极限，通过实验培训了适用于 102 种语言的模型，并在 59 种语言上表现出了优异的翻译效果，表明大规模多语种神经机器翻译模型对低资源环境下的翻译质量有积极支持和刺激。

    Feb, 2019

  • 谷歌的神经机器翻译系统：弥合人类翻译和机器翻译之间的差距

    Google 发布的 GNMT 神经机器翻译系统采用 LSTM 深度学习网络，使用 attention 机制和残差连接，借助词元素 (wordpieces) 将单词划分为子单元，提高了稀有单词处理能力与整体系统精度。

    Sep, 2016

  • 构建可提供任意 X-Y 翻译的多语言机器翻译系统

    本文旨在讨论如何通过两阶段训练策略实现多语言神经机器翻译系统，以解决低效率的问题，并在 WMT'21 多语言翻译任务中进行实验验证，证明我们的系统在大多数方向上优于基线模型，并且不需要架构修改或额外数据收集。

    Jun, 2022

  • 多语言神经机器翻译中 Transformer 和循环神经网络的比较

    本文研究了神经机器翻译在多语言翻译和零样本推理上的性能，比较了双语、多语和零样本系统的翻译质量，并调查了循环神经网络和 Transformer 等两种神经网络模型的翻译质量。研究表明，多语言神经机器翻译能够在多个语言之间共享表示空间，实现有效的跨语言学习。

    Jun, 2018