本文提出 MAD-X 适配器框架，通过学习模块化的语言和任务表示来实现对任意任务和语言的高移植性和参数有效的转移。在命名实体识别和因果常识推理中定型后，MAD-X 在跨类型多样的语言跨语言转移方面优于最新技术水平，并在问答方面取得具有竞争力的结果。

Apr, 2020

提出了一种名为 SkillNet-X 的多语言多任务模型，使用 Transformer 模型和技能模块，以利用目标任务和目标语言的相关知识，实现在不同语言和不同任务之间切换，相对于任务特定基准和两个多任务学习基准表现更好，并在几乎所有数据集上表现出了更好的性能。

Jun, 2023

本文介绍了通过使用超适配器，克服多种语言间负面干扰和参数共享问题。研究表明，相比于传统适配器，超适配器具有更少的参数数量和更好的性能表现，且能够促进跨语言的积极转移。

May, 2022

本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

Jul, 2022

本文提出一种基于预训练的参数高效迁移学习框架，使用共享的超网络对预训练语言模型进行微调，支持语言和视觉任务，并在多任务学习中具有较好的性能和转移能力。

Mar, 2022

本文提出了一种使用高资源语言的任务无关单词嵌入和双语词典来完成跨语言分类任务的方法，具体实现为通过构建基于词典的异构图和引入两级聚合的 DHGNet 这一图神经网络模型。实验结果表明，该方法在准确度方面优于预训练模型，且对于翻译错误具有一定的鲁棒性，可以扩展到其他自动或人工构建的词典。

Sep, 2021

新颖的跨语言转移学习方法 - 从单语言模型到新语言，通过学习一个新的词嵌入矩阵来实现，该方法与现有不需要共享词汇表或联合训练的最先进的无监督多语言模型的跨语言分类基准测试表现相似。

Oct, 2019

我们提出了一种新的跨语言转移方法 $\texttt {AdaMergeX}$，利用自适应适配器合并，在引入参考任务的基础上，结合其他三个适配器可以获得目标适配器，实验证明该方法在各种设置下都能提供新的有效的跨语言转移，优于现有方法。

Feb, 2024

本文提出了一种在多语言模型中使用语言特定的子网络的新方法，以控制跨语言参数共享，减少冲突，并在微调过程中增加正向迁移能力，结合元学习技术进行优化，通过广泛的分析验证了方法对模型的影响。

Oct, 2022

研究多语言应用中，如何应用元学习来提高模型性能，通过实验表明在标准的监督学习、零样本学习和少样本学习的跨语言自然语言理解任务中，元学习对于 15 种语言始终有效。

Mar, 2020