本文的研究表明，多语言去噪预训练在各种机器翻译任务中都有显著的性能提升，通过使用 BART 目标在许多语言的大规模单语语料库上进行序列到序列去噪自动编码器的预训练，我们提出了 mBART。mBART 是预训练完整序列到序列模型的首个方法之一，它能够直接进行监督（包括句子级和文档级）和无监督机器翻译的微调，而无需特定于任务的修改，并且在除最高资源设置外的所有设置中都能实现性能提升，包括低资源机器翻译和许多文档级和无监督模型的 12 BLEU 点和 5 BLEU 点以上。

Jan, 2020

本文研究了无监督神经机器翻译在噪声数据下的鲁棒性问题，并且提出了一种针对这种噪声数据的对抗性训练方法，通过去噪来提高无监督神经机器翻译的鲁棒性。经过实验验证，该方法在一些语言对上，显著提高了传统无监督神经机器翻译系统在嘈杂场景下的性能。

Feb, 2020

本文提出了简单而有效的方法，通过使用单语语料库而无需任何回译来改善跨语言嵌入的逐字翻译，并结合语言模型和噪声自编码器来提高其翻译性能，分析了词汇量和去噪类型对翻译效果的影响。

Jan, 2019

本研究提出了一种全新的方法，在没有平行数据的情况下，只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术， 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数，且能够利用少量的平行数据来提高翻译质量。

Oct, 2017

我们提出了一种基于叠层系统的语音翻译方法，使用全非配对数据训练了我们的无监督系统，并采用去噪回译法提高翻译结果。研究结果显示，我们的方法可以有效解决低资源语言数据难以获取的问题，并在某些语言对上表现出可比较的效果。

May, 2023

本文提出在预训练的多语言模型上训练语言家族适配器，以促进跨语言转移。该模型一致优于其他基于适配器的方法，并证明了语言家族适配器提供了一种有效的将语言翻译到预训练期间未见过的语言的方法。

Sep, 2022

本文提出了一个 DAASI 方法用于多语言语言对的句子插值， 该方法可通过学习源语言和目标语言的中间潜在表示来优化基于 GAN 的多语言翻译模型。实验证明，在低资源语言对上，该方法的表现超过了现有的最先进方法，性能提高了最多 4 BLEU 分数。

Mar, 2023

提出了一个概率框架，用于多语言神经机器翻译，特别针对无监督翻译。通过使用一个新型的跨语言翻译损失项，自然地利用其他包含辅助平行数据的语言作为源或目标语之一。实验证明，在大多数方向上，我们的方法导致在 WMT'14 英语 - 法语、WMT'16 英语 - 德语和 WMT'16 英语 - 罗马尼亚语数据集上，BLEU 得分比最先进的无监督模型高，并且在罗马尼亚语 - 英语方向上，我们获得了比最佳无监督模型高 1.65 的 BLEU 优势。

Feb, 2020

该研究研究了如何在只有大型单语语料库的情况下学习翻译。提出了两种模型，一种是神经模型，一种是基于短语的模型。这些模型通过参数的精心初始化、语言模型的去噪效应和反向迭代自动生成的并行数据来提高翻译性能。在 WMT'14 英语 - 法语和 WMT'16 德语 - 英语 基准测试上，这些模型分别获得 28.1 和 25.2 BLEU 分数，比现有方法的 BLEU 分数高出 11 个分数。方法在英语 - 乌尔都语和英语 - 罗马尼亚语等低资源语言中也取得了良好的结果。

Apr, 2018

该论文提出了一种简单有效的联合去噪预训练方法（DoT），该方法不需要增加任何参数或训练步骤，适用于神经机器翻译并不断提升翻译性能，尤其在高资源情况下，性能优于先前的预训练模型 mBART。

Jan, 2022