通过实验证实，多语言预训练可以在源语言和目标语言之间进行跨语言迁移，且不仅语言污染和语言近似性是影响迁移的因素，还有一种语言无关的知识组件，可以用于跨语言迁移和知识传递。
Apr, 2024
研究了现代神经语言模型的多语言训练中的字面表示空间和纯语法知识的共享，发现暴露我们的 LMs 与相关语言并不总是增加目标语言的语法知识，并且在语义转移的最佳条件下并不一定是语法转移的最佳条件。
Mar, 2020
本研究采用跨语言后训练 (XPT) 基于单一低资源语言进行了广泛的评估和探测实验，结果显示 XPT 不仅优于或与训练数据数量更多的单语模型的表现相当，而且转移过程非常高效。
Sep, 2022
该论文探讨了如何自动选择最佳转移语言作为排名问题，建立模型考虑诸如语言相似性，类型学特性，词汇重叠或可用数据大小等因素以执行这种预测。在代表性 NLP 任务的实验中，我们证明了我们的模型比单一特征的单独考虑的基准线更好地预测良好的转移语言，并了解了哪些特征对每种不同的 NLP 任务是最有信息量的，这可能会为未来的专家选择提供帮助。
May, 2019
本文在分析预训练 mT5 模型对 90 种语言对之间交叉语言联系学习时，发现源语言和目标语言的语法、形态和音韵相似度对于跨语言传递的表现具有良好的预测性，可望提高零样本性能表现。
Dec, 2022
多语种语言模型，交叉语言迁移，源语言，嵌入空间，语言组合
Feb, 2024
本研究展示了如何利用语言的亲缘关系信息，以结构化、基于语言学的方式改进跨语言转移，并在多个语言家族（如日耳曼语族、乌拉尔语族、托皮语族和乌托邦 - 阿兹特克语族）上进行适配器训练，在句法和语义任务上实现相对性能提升超过 20%，特别是在没有预先训练的语言上。
May, 2022
多语种模型的研究指出，语言不平衡是跨语言泛化的一个新的驱动因素，在实验中观察到，在训练中存在一种主要语言可以提升较不频繁的语言的性能，同时加强模型在不同语言间的表示对齐，同时本研究还提出了一些训练方案来改善克隆语言的性能。
预训练多语言模型的容量和效果已经得到确认，但对于零样本跨语言转移中的积极或消极转移现象以及语言选择的影响还需进一步理解，本研究提出了一种高效的方法，通过专用适配器单元将下游任务与语言分离，发现一些语言对其他语言影响不大，而一些未在预训练中出现的语言对不同目标语言具有极大益处或有害，我们发现没有任何一种语言对所有目标语言都有益，但奇怪的是我们观察到，之前未被多语言模型预训练见过的语言总是从任何语言的转移中受益，此外，我们利用模块化方法高效量化负面干涉并相应分类语言，最后，我们提供了一系列有希望改善目标语言性能的转移 - 目标语言配置。
Mar, 2024
研究使用语言相似性来选择最佳的迁移语言，从而提高在情感分析、命名实体识别和依赖解析等不同自然语言处理任务中的跨语言迁移性能。
Jan, 2023