多语言神经机器翻译的多任务学习
本文提出了一种新方法，通过联合 EM 优化方法融合源语言和目标语言的神经机器翻译模型，以更好地利用单语数据来提高翻译质量，实验结果表明，相对于使用单语数据训练的强基线系统，该方法可以同时提高源到目标和目标到源模型的翻译质量。
Mar, 2018
通过将单语数据与自动背景翻译配对，我们未改变神经网络结构，使用目标语单语训练数据进行神经机器翻译（NMT）模型的训练，并在多项任务上取得最新的最优结果（最高 + 2.8-3.7 BLEU），并证明了使用领域单语和平行数据进行微调，对 IWSLT 15 任务英德翻译有实质性的改善。
Nov, 2015
本文提出了一种基于多任务学习方法，利用源端的单语言语言资源来解决神经机器翻译中由于缺少平行文本造成模型质量差的问题，并采用语义分析、句法分析和命名实体识别等辅助任务以将语义和 / 或句法知识注入到翻译模型中，实现了在英法、英波斯和英越三种翻译任务上的有效性验证。
May, 2018
提出了一种双向学习机制（dual-learning mechanism），通过强化学习过程，使用一个代理模型代表原始任务模型，另一个代理模型代表对偶任务模型，以无监督学习方式自动从无标注数据中学习。实验证明，该方法在英法翻译中表现良好，尤其是在使用单语数据的情况下。
Nov, 2016
本篇论文介绍了如何使用多语言神经机器翻译（multilingual NMT）解决低资源语种翻译问题，提出了一种基于迭代自训练的方法可以利用单语数据来提高零样本翻译的性能。实验结果表明，多语言 NMT 优于传统的双语 NMT，Transformer 模型优于循环神经网络模型，零样本 NMT 优于传统的基于中间语的翻译方法，甚至与完全训练的双语系统相当。
Sep, 2019
本文旨在讨论如何通过两阶段训练策略实现多语言神经机器翻译系统，以解决低效率的问题，并在 WMT'21 多语言翻译任务中进行实验验证，证明我们的系统在大多数方向上优于基线模型，并且不需要架构修改或额外数据收集。
Jun, 2022
本研究提出了一种跨语言无监督神经机器翻译框架，利用来自高资源语言对的弱监督信号，以提高零资源翻译质量。该框架基于多语言模型，不需要对标准无监督神经机器翻译进行改动，实验结果表明使用该框架可以在六个基准无监督翻译方向上将翻译质量提高超过 3 个 BLEU 分数。
Apr, 2020
本文研究了两个方向在低资源的神经机器翻译中的应用。第一种方向利用高资源语言通过多语言 NMT 来提高低资源语言的翻译质量。第二种方向利用自监督单语数据来预训练翻译模型并在少量监督数据的支持下进行 fine-tuning。本研究结合这两种方向，证明了单语数据对于多语言 NMT 的有效性，并提出了三个重要结果：(i) 使用单语数据显著提高了多语言模型中低资源语言的翻译质量。(ii) 自监督在多语言模型中提高了零样本翻译质量。(iii) 利用带自监督的单语数据为多语言模型添加新语言提供了一条可行的路径，在没有任何平行数据或回译的情况下，对于罗马尼亚 - 英语的翻译获得了高达 33 BLEU 的结果。
May, 2020