本研究提出了两种简单但有效的方法，解决零样本神经机器翻译的退化问题，即解决了源语言和解码语言之间的虚假相关性问题。实验结果表明，在三个具有挑战性的多语言数据集上，在零样本翻译上取得了显著的提高，并且在某些情况下可以实现优于传统基于 pivot 翻译的效果。

Jun, 2019

通过设计归一化方法来改进 Transformer 模型以实现对未在训练过程中出现的语言对进行零 - shot 机器翻译，此方法可使系统在 IWSLT 2017 多语言数据集中平均提高 2.23 BLEU 分数。

Jun, 2019

本文研究了多语言神经机器翻译模型的零样本翻译问题，提出了基于辅助损失的方法，并在 WMT14 英语 - 法语 / 德语上实现了与基于中介语的模型相媲美的零样本翻译效果，同时在 IWSLT 2017 共享任务中验证了该方法的易于扩展性。

Mar, 2019

提出一种新颖的潜变量翻译分类模型，在多语言 NLU 任务中表现优异，实现了迁移学习。

Jul, 2021

本研究提出了一种基于无监督学习和半监督学习的组合方法，将双重学习与零样本学习相结合，通过加强翻译任务的对偶性，并且只需要被翻译成的单一语言的单语数据，来优化机器翻译质量，结果表明该方法在零样本条件下英语、西班牙语和法语三者之间，取得了较传统 NMT 系统更好的翻译表现。

May, 2018

本研究提出了一种能够有效缓解多语言神经机器翻译中面临的零翻译问题的方法。我们的改进主要在于移除编码器层中的残差连接，使模型表示更多地与特定语言对应。通过此种改进，我们在零翻译的任务上获得高达 18.5 个 BLEU 点的提升，而且在其他有监督的翻译中保持了高质量的表现。通过对隐藏层输出的详细检查，我们也表明了我们的方法确实能够获得更多的语言无关性。

Dec, 2020

本文探讨了如何改善大规模多语言神经机器翻译模型的性能，并提出了加强模型能力、引入语言特定组件和加深神经机器翻译结构以支持具有不同类型学特征的语言对，同时通过随机在线回译来解决离线训练中未出现的语言对翻译问题。实验结果表明，本方法在一对多和多对多设置中缩小了双语模型的性能差距，并将零 - shot 表现提高约 10 BLEU，接近传统的基于中间语言的方法。

Apr, 2020

通过对涵盖 40 种语言的 1,560 个语言方向进行系统实验，我们发现目标端翻译质量是最具影响力的因素，词汇重叠一直对零射击性能产生影响，此外，语言的家族和书写系统等语言属性对于较小的模型具有一定作用。

Oct, 2023

该研究提出一种简单的解决方案，使用单个神经机器翻译模型在多种语言之间进行翻译，并且通过在输入句子的开头引入人工标记来指定所需的目标语言，这种方法不需要更改模型框架，该模型的剩余组件包括编码器、解码器和注意力是不变的，并共享所有语言。我们的方法使用共享的词块词汇表，不需要增加任何参数，在保持模型参数总数恒定的情况下，还经常提高所有涉及的语言对的翻译质量，甚至可以在训练期间从未看到的语言对之间进行隐式桥接，因此，我们的翻译模型不限于训练时的语言对，具有一定的通用性和迁移能力。

Nov, 2016

本文介绍了一种利用语言特定的编码器 - 解码器完成零样本翻译的方法。通过区分语言特定的 Transformer 层和公共层，应用交叉注意力和参数共享等技术，最大化句子的普适性，以实现最佳的语义对齐，此外结合了自编码目标来实现多任务的联合训练。在两个公共的多语言平行数据集上进行实验，它们的结果具有竞争力，而且相当于从头开始联合训练模型时的结果，还表现出增量学习的能力。

Feb, 2021