本文研究了机器翻译的训练模型，从学习具有广泛平行语料的神经机器翻译模型逐渐转变为在预训练的多语言大型语言模型上进行指导微调，并重点关注增强多对多多语言翻译性能和零 - shot 翻译方向的。我们证明了在指导微调过程中采用的提示策略对零 - shot 翻译性能至关重要，并引入了跨语言一致性正则化（CrossConST）的版本，即 XConST，以弥合不同语言之间的表示差距并提高零 - shot 翻译性能。在 ALMA 和 LLaMA-2 的实验结果表明，我们的方法持续改善了翻译性能。我们的实现代码可以在此 https URL 上找到。

Jan, 2024

通过将多语言翻译问题重新构造为概率推理，定义了零 - shot 一致性的概念；引入了一种基于一致性约束的训练方法，鼓励模型在辅助语言中生成等效的平行句子翻译，最终我们测试了多种公共的零 - shot 翻译基准数据集，并证明基于一致性约束训练的 NMT 模型通常会在无监督翻译任务上取得 2-3 BLEU 的提高，而在监督翻译任务上的性能不会降低。

Apr, 2019

本文提出了一种同时在表示层和梯度层面上正则化神经机器翻译（NMT）模型的方法，以解决多语言 NMT 在零 - shot 翻译中出现偏离目标语言及低质量翻译的问题，并在 WMT 和 OPUS 数据集上实现了 5.59 和 10.38 BLEU 的性能提升。

Sep, 2021

通过设计归一化方法来改进 Transformer 模型以实现对未在训练过程中出现的语言对进行零 - shot 机器翻译，此方法可使系统在 IWSLT 2017 多语言数据集中平均提高 2.23 BLEU 分数。

Jun, 2019

本文探讨了如何改善大规模多语言神经机器翻译模型的性能，并提出了加强模型能力、引入语言特定组件和加深神经机器翻译结构以支持具有不同类型学特征的语言对，同时通过随机在线回译来解决离线训练中未出现的语言对翻译问题。实验结果表明，本方法在一对多和多对多设置中缩小了双语模型的性能差距，并将零 - shot 表现提高约 10 BLEU，接近传统的基于中间语言的方法。

Apr, 2020

提出了一种基于状态移动距离的多对多跨语言神经机器翻译模型，通过学习通用表示和跨映射关系，可以实现未经训练的语言对之间的零 - shot 翻译，实验证明该方法可以改善语义空间的对齐和预测的一致性。

Oct, 2022

通过经验研究，本文针对端到端语音转文本翻译提出了两种训练策略：SimRegCR 和 SimZeroCR，以实现一致性正则化的最新性能。在 MuST-C 基准测试中，在大多数翻译方向上，我们的方法取得了最先进的性能。分析证明，由内部一致性带来的正则化对于常规的端到端语音转文本翻译至关重要，而跨模态一致性可消除模态差异并提升零 - shot 端到端语音转文本翻译性能。

Aug, 2023

通过跨语言预训练的双语预训练方法，建立了通用编码器，将传递者和接受者的语言空间对齐，使得零翻译成为可能。实验结果表明，该方法显著优于强的基准线和各种多语言 NMT 方法。

Dec, 2019

本文研究了多语言神经机器翻译模型的零样本翻译问题，提出了基于辅助损失的方法，并在 WMT14 英语 - 法语 / 德语上实现了与基于中介语的模型相媲美的零样本翻译效果，同时在 IWSLT 2017 共享任务中验证了该方法的易于扩展性。

Mar, 2019

MuSR 是一种支持 220 多种语言的全能多语种句子表示模型，通过使用数十亿个英文为中心的平行语料库，采用使用跨语言一致性规则化技术的多语言 NMT 框架，以训练多语言 Transformer 编码器，并采用辅助 Transformer 解码器，实现了多语言相似性搜索和双文本挖掘任务，表现优于由 148 个独立的多语种句子编码器组成的 LASER3。

Jun, 2023