通过设计归一化方法来改进 Transformer 模型以实现对未在训练过程中出现的语言对进行零 - shot 机器翻译，此方法可使系统在 IWSLT 2017 多语言数据集中平均提高 2.23 BLEU 分数。

Jun, 2019

本文通过基于 Transformer 的语言模型提出了一种利用多语言平行文本自动生成同义词的简单统一模型，可以在一步中实现无监督同义词生成。该模型相较于中文中的折叠法方法，其生成的同义词更加相似，并且能够在大规模未对齐的语料库上进行预训练。同时，利用噪声自编码器机制还可以提高模型的多样性和鲁棒性。实验结果表明，该模型在同义词关系、多样性、流畅度和效率等方面均优于折叠法。

Nov, 2019

本文提出一种简单的迭代训练过程，利用系统直接生成的翻译对零 - shot 方向进行翻译，以及原始并行数据，来重新训练多语言网络，有效提高了多语言模型的 BLEU 分数，并且在非零 - shot 语言方向上的性能也略有提升。

Nov, 2018

本文探讨了如何改善大规模多语言神经机器翻译模型的性能，并提出了加强模型能力、引入语言特定组件和加深神经机器翻译结构以支持具有不同类型学特征的语言对，同时通过随机在线回译来解决离线训练中未出现的语言对翻译问题。实验结果表明，本方法在一对多和多对多设置中缩小了双语模型的性能差距，并将零 - shot 表现提高约 10 BLEU，接近传统的基于中间语言的方法。

Apr, 2020

通过跨语言预训练的双语预训练方法，建立了通用编码器，将传递者和接受者的语言空间对齐，使得零翻译成为可能。实验结果表明，该方法显著优于强的基准线和各种多语言 NMT 方法。

Dec, 2019

本文研究了多语言神经机器翻译模型的零样本翻译问题，提出了基于辅助损失的方法，并在 WMT14 英语 - 法语 / 德语上实现了与基于中介语的模型相媲美的零样本翻译效果，同时在 IWSLT 2017 共享任务中验证了该方法的易于扩展性。

Mar, 2019

本研究提出了两种简单但有效的方法，解决零样本神经机器翻译的退化问题，即解决了源语言和解码语言之间的虚假相关性问题。实验结果表明，在三个具有挑战性的多语言数据集上，在零样本翻译上取得了显著的提高，并且在某些情况下可以实现优于传统基于 pivot 翻译的效果。

Jun, 2019

本研究通过建模探索基于 Transformer 的多语言语言模型在零样本跨语言转移上的性能预测，并将其视为多任务学习问题，从而建立准确的预测模型。我们的方法还同时进行了特征选择，识别出对多个任务的零样本表现具有影响的共同特征。

May, 2022

本研究提出了一种基于无监督学习和半监督学习的组合方法，将双重学习与零样本学习相结合，通过加强翻译任务的对偶性，并且只需要被翻译成的单一语言的单语数据，来优化机器翻译质量，结果表明该方法在零样本条件下英语、西班牙语和法语三者之间，取得了较传统 NMT 系统更好的翻译表现。

May, 2018

本研究提出了一种能够有效缓解多语言神经机器翻译中面临的零翻译问题的方法。我们的改进主要在于移除编码器层中的残差连接，使模型表示更多地与特定语言对应。通过此种改进，我们在零翻译的任务上获得高达 18.5 个 BLEU 点的提升，而且在其他有监督的翻译中保持了高质量的表现。通过对隐藏层输出的详细检查，我们也表明了我们的方法确实能够获得更多的语言无关性。

Dec, 2020