该论文探讨了如何自动选择最佳转移语言作为排名问题，建立模型考虑诸如语言相似性，类型学特性，词汇重叠或可用数据大小等因素以执行这种预测。在代表性NLP任务的实验中，我们证明了我们的模型比单一特征的单独考虑的基准线更好地预测良好的转移语言，并了解了哪些特征对每种不同的NLP任务是最有信息量的，这可能会为未来的专家选择提供帮助。

May, 2019

分析了massively multilingual transformers在零射击跨语言场景中的局限性，并表明在资源匮乏和对比较遥远语言的情况下通过多语言转换的跨语言转移实际上不太有效。通过几个低级和高级自然语言处理任务的实验，确立了源语言和目标语言之间的语言相似度以及目标语言的预训练语料库的大小与转移性能之间的相关性。另外，研究表明通过在源语言上调整细节，再在目标语言上进行少量微调的few-shot transfer在多语言转换中十分有效。

May, 2020

本研究通过引入三种语言特征，即语言背景水平、比喻语言和情感概念的词汇化，捕捉语言语用学中的跨文化相似性并证实其在情感分析等实际任务中的有效性。

Jun, 2020

本文论述了跨语言零-shot迁移的问题，并通过对XLM-RoBERTa进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

Jan, 2021

本文对于使用不同语言进行零样本跨语言转移的多语言模型进行了研究，发现高资源语言如德语和俄语在多数情况下能够更加有效地进行迁移学习，即使训练集是自动从英语翻译而来。同时，该结论对于多语言零样本系统有着重要影响，并且应该指导未来的基准设计。

Jun, 2021

本文在分析预训练mT5模型对90种语言对之间交叉语言联系学习时，发现源语言和目标语言的语法、形态和音韵相似度对于跨语言传递的表现具有良好的预测性，可望提高零样本性能表现。

Dec, 2022

跨语言语义解析利用最优传输从高资源语言（例如英语）向训练数据稀缺的低资源语言转移解析能力。我们提出了一种新的跨语言语义解析方法，通过显式地最小化概率潜变量之间的跨语言差异来改善自然语言解析，减少训练样本的使用。我们在 MTOP 和 MultiATIS++SQL 两个数据集上评估方法，在少样本跨语言情景下取得了最先进的结果。消融研究进一步揭示了我们的方法即使没有平行输入翻译也能提高性能。此外，我们展示了我们的模型更好地在潜空间中捕获跨语言结构，从而提高了语义表示的相似性。

Jul, 2023

通过研究名词实体识别任务的十种低资源语言之间的跨语言迁移学习，我们发现自适应微调和迁移语言的选择对零射击迁移性能有何影响，发现在个别语言性能和在其他语言上的概括之间存在权衡，同时源数据集和目标数据集之间的数据重叠程度是预测迁移性能的更好指标，而不是语言之间的地理或遗传距离。

Sep, 2023

预训练多语言模型的容量和效果已经得到确认，但对于零样本跨语言转移中的积极或消极转移现象以及语言选择的影响还需进一步理解，本研究提出了一种高效的方法，通过专用适配器单元将下游任务与语言分离，发现一些语言对其他语言影响不大，而一些未在预训练中出现的语言对不同目标语言具有极大益处或有害，我们发现没有任何一种语言对所有目标语言都有益，但奇怪的是我们观察到，之前未被多语言模型预训练见过的语言总是从任何语言的转移中受益，此外，我们利用模块化方法高效量化负面干涉并相应分类语言，最后，我们提供了一系列有希望改善目标语言性能的转移-目标语言配置。

Mar, 2024

本研究针对现有多语言信息提取研究中存在的局限性，提供了一种针对多语言跨转移学习的详细分析。通过探讨语言之间的距离以及结合的语言距离度量，研究揭示了在零样本多语言设置中优化数据选择的问题，从而为实现更广泛的多语言信息提取系统奠定基础。

Nov, 2024