ACLFeb, 2019

一种有效的无监督机器翻译方法

PDF
TL;DR本文针对现有无监督机器翻译存在的不足之处，通过利用子词信息、开发理论上有根据的无监督调优方法和引入联合优化程序等手段，改进了统计机器翻译系统，并将其用于初始化双 NMT 模型并进行后续微调，使无监督机器翻译的表现大幅度提升。在英德无监督机器翻译领域，改进后的 SMT 系统相较之前最好的无监督系统 BLEU 值提高了 5.5 个百分点，超过了当时的（监督）任务获胜者。
发现论文，激发创造
  • 无监督统计机器翻译

    本文提出了一种基于 SMT 的新颖方法，通过跨语言嵌入映射从单语料库中诱导短语表，再将其与 N-gram 语言模型相结合，通过无监督超参数微调的变体来实现迭代反向翻译，并在 WMT 2014 中实现了超过 7-10 BLEU 点的改进，与监督 SMT 相比关闭了 2-5 BLEU 点的差距。

    Sep, 2018

  • 无监督神经机器翻译

    本研究提出了一种全新的方法，在没有平行数据的情况下，只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术， 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数，且能够利用少量的平行数据来提高翻译质量。

    Oct, 2017

  • 基于非监督统计机器翻译初始化的无监督神经机器翻译

    这篇论文介绍了一种使用合成的双语数据来训练无监督神经机器翻译系统的方法，并使用增量式的反向翻译方法来提高其性能。 在 WMT16 德英新闻翻译任务上，该方法在无监督机器翻译方面实现了新的技术水平。

    Oct, 2018

  • 无监督神经机器翻译中使用 SMT 作为后验正则化

    本论文提出了一种将基于短语的统计机器翻译模型作为后验正则化引入到无监督神经机器翻译模型的训练过程中，以提高翻译质量的方法，并在 en-fr 和 en-de 翻译任务上进行实验，最终取得了新的最佳性能。

    Jan, 2019

  • 跨语言监督提高无监督神经机器翻译

    本研究提出了一种跨语言无监督神经机器翻译框架，利用来自高资源语言对的弱监督信号，以提高零资源翻译质量。该框架基于多语言模型，不需要对标准无监督神经机器翻译进行改动，实验结果表明使用该框架可以在六个基准无监督翻译方向上将翻译质量提高超过 3 个 BLEU 分数。

    Apr, 2020

  • 基于短语和神经网络的无监督机器翻译

    该研究研究了如何在只有大型单语语料库的情况下学习翻译。提出了两种模型，一种是神经模型，一种是基于短语的模型。这些模型通过参数的精心初始化、语言模型的去噪效应和反向迭代自动生成的并行数据来提高翻译性能。在 WMT'14 英语 - 法语和 WMT'16 德语 - 英语 基准测试上，这些模型分别获得 28.1 和 25.2 BLEU 分数，比现有方法的 BLEU 分数高出 11 个分数。方法在英语 - 乌尔都语和英语 - 罗马尼亚语等低资源语言中也取得了良好的结果。

    Apr, 2018

  • 神经机器翻译的半监督学习

    该论文提出了一种半监督的方法来训练神经机器翻译模型，该方法使用标记数据和未标记数据的拼接，通过一个自编码器重建单语语料库，从而利用源语言和目标语言的单语语料库以及双语平行语料库从而在中英数据集上取得了显著的性能提升。

    Jun, 2016

  • 上海交通大学 - 国立信息学研究所的 WMT20 新闻翻译任务所使用的监督式和无监督式神经机器翻译系统

    本文介绍了我们在 WMT2020 机器翻译共享任务中的参与情况和采用的多项神经机器翻译技术，在英汉、波兰英语和德国上索布里亚语等四个方向中，我们获得了第一名的好成绩。

    Oct, 2020

  • 将无监督数据生成技术融入自监督神经机器翻译中，以应对低资源语言

    本文介绍了一种将无监督机器翻译和自监督 NMT 相结合的方法，该方法利用合成数据生成技术和 back-translation 的方法提高 SSNMT 的性能，特别是在缺乏语言对数据的情况下可以对距离较远的语言对进行翻译。

    Jul, 2021

  • 由统计机器翻译指导的神经机器翻译

    本文提出了将 SMT 模型融入 NMT 框架，通过辅助分类器和门函数来结合 SMT 的推荐和 NMT 的生成，从而提高中英翻译的性能。实验结果表明，该方法在多个测试集上均显著优于现有的 NMT 和 SMT 系统。

    Oct, 2016