EMNLPSep, 2019

基于轴心的非英语语言神经机器翻译迁移学习

PDF
TL;DR本文提出了三种有效的预训练策略来提高神经机器翻译的性能，通过使用一种中间语言来实现对原语言和目标语言对之间关系的增强，从而在 WMT 2019 的 法德和德捷语任务中超过了多语言模型，同时优化了零样本 / 零资源情境下的翻译效果。
neural machine translationpre-trainingpivot languagemultilingual modelszero-shot scenarios
发现论文，激发创造
  • 使用中间语言进行神经机器翻译

    介绍了基于枢轴语言的神经机器翻译的联合训练算法，通过提出三种方法来连接两个模型并在训练期间使其相互交互，实验表明，与独立训练相比，源 - 枢轴和枢轴 - 目标模型的联合训练在各种语言中都取得了显著的改进。

    Nov, 2016

  • 同时多支点神经机器翻译

    该论文以多种语言为中介语，提出利用多种语言进行平行翻译的思路，应用于实现实时语音翻译并进一步改进了 BLEU 指数。

    Apr, 2021

  • 基于跨语言预训练的零 - shot 神经机器翻译迁移

    通过跨语言预训练的双语预训练方法，建立了通用编码器，将传递者和接受者的语言空间对齐，使得零翻译成为可能。实验结果表明，该方法显著优于强的基准线和各种多语言 NMT 方法。

    Dec, 2019

  • 利用语言无关约束改进零 - shot 翻译

    通过设计归一化方法来改进 Transformer 模型以实现对未在训练过程中出现的语言对进行零 - shot 机器翻译，此方法可使系统在 IWSLT 2017 多语言数据集中平均提高 2.23 BLEU 分数。

    Jun, 2019

  • 远程语言无监督中介翻译

    本研究提出了一种基于无监督的跨语言翻译模型，采用多跳的方式将源语言翻译为目标语言，通过语言对之间的最佳翻译路径选择，最终在 20 种语言和 294 个跨度较大的语言对的实验中展示了该方法的优势。

    Jun, 2019

  • 基于中间语言级联翻译模型的端到端训练与解码

    本文提出了一种基于端到端训练方法的级联翻译模型，并配置了一种改进的解码算法，该方法可以有效地利用极少量的 (parallel) data 来提高翻译质量。

    May, 2023

  • 多语言模型实现零样本改写生成

    本文通过基于 Transformer 的语言模型提出了一种利用多语言平行文本自动生成同义词的简单统一模型，可以在一步中实现无监督同义词生成。该模型相较于中文中的折叠法方法，其生成的同义词更加相似，并且能够在大规模未对齐的语料库上进行预训练。同时，利用噪声自编码器机制还可以提高模型的多样性和鲁棒性。实验结果表明，该模型在同义词关系、多样性、流畅度和效率等方面均优于折叠法。

    Nov, 2019

  • 利用单语数据进行神经机器翻译模型的联合训练

    本文提出了一种新方法，通过联合 EM 优化方法融合源语言和目标语言的神经机器翻译模型，以更好地利用单语数据来提高翻译质量，实验结果表明，相对于使用单语数据训练的强基线系统，该方法可以同时提高源到目标和目标到源模型的翻译质量。

    Mar, 2018

  • 从词到句：基于视觉桥接的零资源机器翻译渐进式学习方法

    本文提出了一种基于图片引导的无资源机器翻译渐进式学习方法，从词级别开始逐步学习，最终将学习到的词汇级别的翻译应用在句子级别的翻译上，从而有效减少了图片噪声对模型学习的干扰，在两个广泛使用的基于图像引导的翻译数据集上，该方法明显优于其他最先进的方法。

    Jun, 2019

  • 基于短语和神经网络的无监督机器翻译

    该研究研究了如何在只有大型单语语料库的情况下学习翻译。提出了两种模型，一种是神经模型，一种是基于短语的模型。这些模型通过参数的精心初始化、语言模型的去噪效应和反向迭代自动生成的并行数据来提高翻译性能。在 WMT'14 英语 - 法语和 WMT'16 德语 - 英语 基准测试上，这些模型分别获得 28.1 和 25.2 BLEU 分数，比现有方法的 BLEU 分数高出 11 个分数。方法在英语 - 乌尔都语和英语 - 罗马尼亚语等低资源语言中也取得了良好的结果。

    Apr, 2018