本文通过在 50 种语言中使用 BabelNet 这一丰富的跨语言单词知识库，将大规模多语言 Transformer（MMT）暴露于多语言词汇知识，并利用对比目标指导下的词汇专业化过程，大幅提高了双语词汇归纳、跨语言单词相似性和跨语言句子检索等交叉语言词汇任务的性能。同时，实验还表明，相对于语言多样性，MMT 的预训练质量对性能有更大的影响。
Aug, 2022
本文介绍了一个多语言序列到序列的自然语言模型 DOCmT5，采用大规模平行文档进行预训练和一种名为 DrMT 的文档重排机器翻译方法，通过在各种文档级处理任务上进行，包括文档翻译、跨语言摘要等，达到了业内领先的结果。
Dec, 2021
本研究利用多语言文本嵌入来对平行数据进行最近邻挖掘，通过三种不同的文本层级表示方法，发现用 HiDE 训练产生的文档嵌入结果表现最佳，达到了 UN 平行文档挖掘的最新成果。
Jun, 2019
本文评估了一个大规模多语言神经机器翻译模型编码器在五个跨语言分类和序列标记任务中的跨语言效果，并展示了零 - shot 转移学习中在四个任务中的增益。
Sep, 2019
本文介绍了使用预训练的跨语言 Transformer 编码器初始化模型，并使用多语言平行数据微调的简单方法 XLM-T，它在 10 种语言对的 WMT 数据集和 94 种语言对的 OPUS-100 语料库中实现了显着的性能提升。此外，对 XLM-T 进行的无监督句法分析，词对齐和多语言分类的广泛分析说明了其对机器翻译的有效性。
Dec, 2020
该研究表明，预训练的单一语言模型（LM4MT）可以与强大的编码器 - 解码器 NMT 模型在标准机器翻译基准测试中取得可比较的性能，LM4MT 还可以轻松利用源侧文本作为额外的监督。LM4MT 可以为源语言和目标语言提供统一的表示形式，在跨语言知识转移方面表现更好，并在基于中间语言和零样本翻译任务中获得显著的优势。
Jun, 2021
本研究提出了 SixT，一种利用多语言预训练编码器（MPE）来促进神经机器翻译模型的跨语言迁移的方法。通过采用两阶段训练计划和位置解缠编码器以及容量增强解码器，SixT 在零基础多语言翻译任务上取得了比已有模型更好的结果。
Apr, 2021
本文介绍了一种基于 Hierarchical Contrastive Learning 的方法，用于学习句子级别的跨语言表示方法，在 XTREME 任务和机器翻译任务中实验表明，该方法可以显著提高模型准确性。
Jul, 2020
对多语种翻译使用深度编码器和浅层解码器 (DEMSD) 的方法，使得在翻译质量没有显著损失的情况下，可获得 1.8 倍的平均速度提升。
Jun, 2022
介绍了一种名为 DeltaLM 的预训练多语言编码器 - 解码器模型，桥接了预训练编码器和自然语言生成之间的鸿沟，采用自监督方式的跨语言数据预训练任务。实验显示，DeltaLM 在机器翻译、文本摘要、数据生成和问题生成等自然语言生成和翻译的任务上都优于强基线。