我们提出了 mRASP，这是一种预训练通用多语言神经机器翻译模型的方法，通过其新颖的技术可以在表示空间中将具有相似含义的词和短语接近，并在 32 种语言对上进行了联合预训练，进而在下游语言对上进行微调，结果显示 mRASP 取得了显著的性能提升，并首次证明了多个低资源语言配对可以用于提高富资源机器翻译的质量，甚至可以提高从未在先前训练语料库中出现的外语的翻译质量。

Oct, 2020

本研究建立了一种真正的 Many-to-Many 多语言翻译模型，可以直接在 100 种语言之间进行翻译，并通过密集扩展和语言特定的稀疏参数提高模型质量，优于 WMT 单一系统的表现。

Oct, 2020

通过利用平行语料库和非平行语料库，采用对比学习等方法，有效提高了预训练多语言语言模型的跨语言传递能力，同时显著提高了检索性能，且计算成本较低。

Oct, 2022

该研究加入对比学习以蒸馏多语言表示，并用于平行语句的质量估计。实验证明，该方法在不同的资源稀少语言上显著优于先前的句子编码器，诸如 LASER 等。

Oct, 2022

本文研究了机器翻译的训练模型，从学习具有广泛平行语料的神经机器翻译模型逐渐转变为在预训练的多语言大型语言模型上进行指导微调，并重点关注增强多对多多语言翻译性能和零 - shot 翻译方向的。我们证明了在指导微调过程中采用的提示策略对零 - shot 翻译性能至关重要，并引入了跨语言一致性正则化（CrossConST）的版本，即 XConST，以弥合不同语言之间的表示差距并提高零 - shot 翻译性能。在 ALMA 和 LLaMA-2 的实验结果表明，我们的方法持续改善了翻译性能。我们的实现代码可以在此 https URL 上找到。

Jan, 2024

本文提出了一种多级对比学习（ML-CTL）框架，使用翻译后的平行数据并显式地整合每对平行句子的单词级信息进行对比学习，以进一步提高预训练模型的跨语言能力。其中，采用了交叉零噪声对比估计（CZ-NCE）损失来减轻训练过程中小批量大小的浮点误差的影响。该方法显著提高了基础模型（mBERT）的跨语言迁移能力，并在 Xtreme 基准测试的多个零 - shot 跨语言下游任务中表现优异。

Feb, 2022

本文提出了一种新的多语种文本嵌入生成模型 —— VMSST，通过在 $N$ 种语言的并行数据上运行，通过一个引入的近似算法，在多语种语境中鼓励源分离，我们在比较学习多语种文本嵌入的对比和基于生成的方法时，对其进行了仔细的大规模比较，并对其进行了语义相似性、位文本挖掘、跨语言问题检索等任务的评估，从而证明了其优越性。

Dec, 2022

本文提出一种用于低资源语言的提高问答技术的方法，即通过翻译和转写将问题回答样本扩充到目标语言，利用增广数据微调已经在英语中预训练的 mBERT 问答模型，并引入对翻译问题上下文特征对之间的对比损失来提高不同语言家族的翻译准确性。

Apr, 2022

本文提出了一种基于多任务学习方法，利用源端的单语言语言资源来解决神经机器翻译中由于缺少平行文本造成模型质量差的问题，并采用语义分析、句法分析和命名实体识别等辅助任务以将语义和 / 或句法知识注入到翻译模型中，实现了在英法、英波斯和英越三种翻译任务上的有效性验证。

May, 2018

UC2 是第一个基于机器翻译增强的框架，用于跨语言跨模态表示学习。我们扩充了现有的只有英语的数据集，通过机器翻译引入了其他语言的图像标题，然后将标准的 Masked Language Modeling 和 Image-Text Matching 训练目标扩展到多语言环境，通过共享视觉上下文（即使用图像作为枢纽）来捕获不同语言之间的对齐。最终我们提出了两个新的预训练任务，Masked Region-to-Token Modeling（MRTM）和 Visual Translation Language Modeling（VTLM），以加快图像和所有感兴趣语言的联合嵌入空间的学习。在多语言图像文本检索和多语言视觉问答基准上的评估表明，我们的提议框架在各种非英语基准上实现了新的最先进状态，并在英语任务上保持与单语预训练模型相当的性能。

Apr, 2021