利用生成对抗网络和无监督多语言嵌入，结合多源语言训练数据的多语言转移学习方法，在多语言文本分类和序列标记任务中实现 target 语言的显著性能提升。

Oct, 2018

研究多语言应用中，如何应用元学习来提高模型性能，通过实验表明在标准的监督学习、零样本学习和少样本学习的跨语言自然语言理解任务中，元学习对于15种语言始终有效。

Mar, 2020

分析了massively multilingual transformers在零射击跨语言场景中的局限性，并表明在资源匮乏和对比较遥远语言的情况下通过多语言转换的跨语言转移实际上不太有效。通过几个低级和高级自然语言处理任务的实验，确立了源语言和目标语言之间的语言相似度以及目标语言的预训练语料库的大小与转移性能之间的相关性。另外，研究表明通过在源语言上调整细节，再在目标语言上进行少量微调的few-shot transfer在多语言转换中十分有效。

May, 2020

本研究针对少样本跨语言迁移问题进行了试验设计和成功案例分析，并提出了集成功效设计的实验方案。通过对六个不同自然语言处理任务的40组样本进行分析，阐明了字典特性在少样本迁移中的作用，并证明了简单的完整模型微调方法在少样本迁移中的有效性。同时，开放了部分样本，为标准化的跨语言实验设计提供了参考。

Dec, 2020

本文提出了一种通过对抗样本和零样本跨语言转移失败案例进行联系的学习策略，采用对抗性训练和随机平滑这两种方法来训练多语言编码器更加强健的模型，实验结果表明，强健训练可以提高零样本跨语言数据分类任务中的性能，尤其在输入语句属于两种不同语言的情况下，改进更为显著。

Apr, 2021

本文对于使用不同语言进行零样本跨语言转移的多语言模型进行了研究，发现高资源语言如德语和俄语在多数情况下能够更加有效地进行迁移学习，即使训练集是自动从英语翻译而来。同时，该结论对于多语言零样本系统有着重要影响，并且应该指导未来的基准设计。

Jun, 2021

本文提出一种无监督的跨语言嵌入转换方法，其中使用Embedding-Push、Attention-Pull和Robust targets来处理语言嵌入之间的聚类差异，以提高跨语言转换的可靠性。 实验结果表明，该方法在零-shot跨语言文本分类任务上取得显着优于以往的工作，可以获得更好的多语言对齐。

Oct, 2022

通过使用预训练模型，我们提出了一种零样本跨语言转移的新方法，它能够在低资源语言上实现任务感知的双语信息对齐，并利用未标记数据进行自我训练，从而实现多种任务上的最新技术提升，无需并行语料库或翻译模型。

Oct, 2023

通过实验证明多语言模型具有零-shot 跨语言知识转移的能力并且在下游任务中表现出较高性能，但我们对当前评估基准和设置是否能准确衡量零-shot 跨语言知识转移产生了质疑。本研究通过引入更具挑战性的多语言实例设置，表明多语言模型的高性能在很大程度上归因于不需要传递实际语言知识的因素，如任务和表面层知识。我们观察到跨语言传递的主要是数据工件和偏见，尤其是对于资源有限的语言。我们的发现凸显了现有跨语言测试数据和评估设置的缺点，呼吁对多语言模型的跨语言能力有更细致的理解。

Feb, 2024

预训练多语言模型的容量和效果已经得到确认，但对于零样本跨语言转移中的积极或消极转移现象以及语言选择的影响还需进一步理解，本研究提出了一种高效的方法，通过专用适配器单元将下游任务与语言分离，发现一些语言对其他语言影响不大，而一些未在预训练中出现的语言对不同目标语言具有极大益处或有害，我们发现没有任何一种语言对所有目标语言都有益，但奇怪的是我们观察到，之前未被多语言模型预训练见过的语言总是从任何语言的转移中受益，此外，我们利用模块化方法高效量化负面干涉并相应分类语言，最后，我们提供了一系列有希望改善目标语言性能的转移-目标语言配置。

Mar, 2024