通过双向的预训练策略，将神经机器翻译模型从'src -> tgt' 朝向'src + tgt -> tgt + src' 方向进行更新，成功地提升了神经机器翻译在 15 项任务上的表现，具有更好的双语对齐。

Sep, 2021

本文的研究表明，多语言去噪预训练在各种机器翻译任务中都有显著的性能提升，通过使用 BART 目标在许多语言的大规模单语语料库上进行序列到序列去噪自动编码器的预训练，我们提出了 mBART。mBART 是预训练完整序列到序列模型的首个方法之一，它能够直接进行监督（包括句子级和文档级）和无监督机器翻译的微调，而无需特定于任务的修改，并且在除最高资源设置外的所有设置中都能实现性能提升，包括低资源机器翻译和许多文档级和无监督模型的 12 BLEU 点和 5 BLEU 点以上。

Jan, 2020

该论文介绍了 DEEP 方法，借助大量单语数据和知识库，通过去噪自编码器和多任务学习的方式，提高在句子内进行命名实体翻译的准确性，实验结果表明在三种语言对翻译中 DEEP 方法相较于其他方法具有更好的表现。

Nov, 2021

本文提出了一种使用去噪适配器的方法，以在没有监督数据的情况下，通过使用辅助并行语言对，将机器翻译应用于仅具有单语数据的语言。该方法的结果与反向翻译相当，并且允许逐步添加新语言。

Oct, 2021

本文章探讨如何使用在线数据选择的方式，通过使用受信任数据和去噪课程，来测量和去噪神经机器翻译（NMT）训练中的数据，并对提出的方法进行内在和外在评估，结果表明该方法在处理严重噪音的数据时具有显著的效果。

Aug, 2018

本文研究了无监督神经机器翻译在噪声数据下的鲁棒性问题，并且提出了一种针对这种噪声数据的对抗性训练方法，通过去噪来提高无监督神经机器翻译的鲁棒性。经过实验验证，该方法在一些语言对上，显著提高了传统无监督神经机器翻译系统在嘈杂场景下的性能。

Feb, 2020

本文探讨了神经机器翻译以及如何提高其对于噪声输入的鲁棒性，提出了新的数据扩充方法以及通过利用外部数据中的噪声来加强模型鲁棒性。

Oct, 2019

本研究提出了一种全新的方法，在没有平行数据的情况下，只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术， 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数，且能够利用少量的平行数据来提高翻译质量。

Oct, 2017

本文介绍了一种名为 TAFT 的数据驱动技术，它利用 fine-tuning 策略加入噪声训练 Transformer 模型，并提出了两种新型技术 CD 和 DCD 以帮助模型更好地处理噪声，最终在英德翻译语料中实现更高的鲁棒性。

Dec, 2020

通过使用多个前向和反向模型的预测结果来实现数据多样化， Data Diversification 是一种简单但有效的策略来提高神经机器翻译性能，它在不增加计算量和参数的情况下，适用于所有 NMT 模型，并在 WMT'14 英语 - 德语和英语 - 法语翻译任务中突破了最新的 BLEU 得分，并在 8 个其他翻译任务中取得了显著进展，它比知识蒸馏和双向学习更有效，并以牺牲复杂度换取更好的 BLEU 得分.

Nov, 2019