带缺失数据的多源神经机器翻译
该论文提出了一种半监督的方法来训练神经机器翻译模型,该方法使用标记数据和未标记数据的拼接,通过一个自编码器重建单语语料库,从而利用源语言和目标语言的单语语料库以及双语平行语料库从而在中英数据集上取得了显著的性能提升。
Jun, 2016
本文提出了一种简单的多源神经机器翻译解决方案 —— 通过预处理 N 路多语种语料库,将源语言句子连接成一个长的多源输入句子,不修改神经机器翻译(NMT)架构或训练过程,使用预处理的语料库训练 NMT 系统,实验结果表明该方法在资源匮乏和资源丰富情况下均有效(使用 2 种源语言可达到 4 BLEU,使用 5 种源语言可达到 6 BLEU),同时与现有的 MSNMT 方法进行比较,表明我们的方法尽管简单却具有竞争力的结果。我们还通过可视化关注力提供了一些多语言信息的见解。
Feb, 2017
本篇论文介绍了如何使用多语言神经机器翻译(multilingual NMT)解决低资源语种翻译问题,提出了一种基于迭代自训练的方法可以利用单语数据来提高零样本翻译的性能。实验结果表明,多语言 NMT 优于传统的双语 NMT,Transformer 模型优于循环神经网络模型,零样本 NMT 优于传统的基于中间语的翻译方法,甚至与完全训练的双语系统相当。
Sep, 2019
本研究提出了一种全新的方法,在没有平行数据的情况下,只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术, 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数,且能够利用少量的平行数据来提高翻译质量。
Oct, 2017
本研究提出了一种跨语言无监督神经机器翻译框架,利用来自高资源语言对的弱监督信号,以提高零资源翻译质量。该框架基于多语言模型,不需要对标准无监督神经机器翻译进行改动,实验结果表明使用该框架可以在六个基准无监督翻译方向上将翻译质量提高超过 3 个 BLEU 分数。
Apr, 2020
提出了一种基于多任务学习的框架,通过对单语数据的两个去噪任务和双语数据的翻译任务联合训练模型,显著提高了多语言 NMT 系统的翻译质量,并在零样本学习的情况下证明了该方法的有效性。
Oct, 2020
本文研究了多语言神经机器翻译模型的零样本翻译问题,提出了基于辅助损失的方法,并在 WMT14 英语 - 法语 / 德语上实现了与基于中介语的模型相媲美的零样本翻译效果,同时在 IWSLT 2017 共享任务中验证了该方法的易于扩展性。
Mar, 2019
提出了一种新颖的多源技术,利用线性化的解析将源语法合并到神经机器翻译中,通过使用单独的编码器将相同源语句的顺序和解析版本相结合,然后使用分层注意机制将结果表示组合,该模型在 WMT17 英德任务上比 seq2seq 和基线解析模型都有超过 1 BLEU 的改进,并且分析表明,与标准解析方法相比,我们的多源语法模型能够成功进行翻译而不需要任何已解析的输入,在长句子上的表现也不如基线模型差。
Aug, 2018