本文提出 MAD-X 适配器框架，通过学习模块化的语言和任务表示来实现对任意任务和语言的高移植性和参数有效的转移。在命名实体识别和因果常识推理中定型后，MAD-X 在跨类型多样的语言跨语言转移方面优于最新技术水平，并在问答方面取得具有竞争力的结果。

Apr, 2020

我们提出了一种新的跨语言转移方法 $\texttt {AdaMergeX}$，利用自适应适配器合并，在引入参考任务的基础上，结合其他三个适配器可以获得目标适配器，实验证明该方法在各种设置下都能提供新的有效的跨语言转移，优于现有方法。

Feb, 2024

在不存在语言的监督数据的情况下，本文研究了语言适配器在自然语言理解任务中零样本跨语言转移中的作用，通过对两个多语言模型和三个多语言数据集的详尽消融研究，结果表明目标语言适配器在任务、语言和模型间影响高度不一致。相比之下，保留源语言适配器通常能够获得相当甚至更好的性能，训练后去除语言适配器只有较弱的负面影响，表明语言适配器对于预测结果的影响并不显著。

Jan, 2024

本文研究了利用 adapters 实现单语言检索模型的跨语言迁移，证明了使用 adapters 的密集检索模型在语言迁移方面比整个模型 fine-tuning 更加有效。

Dec, 2022

本文提出在预训练的多语言模型上训练语言家族适配器，以促进跨语言转移。该模型一致优于其他基于适配器的方法，并证明了语言家族适配器提供了一种有效的将语言翻译到预训练期间未见过的语言的方法。

Sep, 2022

该研究提出了一种名为 X-METRA-ADA 的交叉语言 MEta-TRAnsfer 学习 ADAptation 方法，其采用元学习技术来增强自然语言理解（NLU）领域中的跨语言转化，并通过两个跨语言 NLU 任务的大量实验证明了该方法性能优于朴素微调方法，该方法能够利用有限数据进行更快的适应。

Apr, 2021

ALTER 是一个基于小型语言模型的多任务学习系统，它通过混合任务适应器来同时处理多个自然语言处理任务，以支持领域特定的应用。实验证明，ALTER 提出的 MTA 架构和二阶段训练方法实现了良好的性能。

Sep, 2023

本文研究了使用适配器在软件工程中进行知识转移的方法，对 C/C++、Python 和 Java 三种编程语言中的 cloze 测试和代码克隆检测等任务进行了广泛的实验，并将该方法与基准进行了比较，在参数数量、内存使用和推理时间等方面更加高效。

Apr, 2022

研究了零样本学习和基于翻译的方法在预训练语言模型（mPTLMs）的跨语言适应性中的应用，提出了一种新的框架来整合这两种方法，通过定制一个预热机制来快速更新 mPTLMs，应用于细化的参数上进行跨语言适应性的实验结果表明，我们的方法有助于各种序列标注任务的跨语言适应性。

Oct, 2020

XMAdapter 是一种跨模态参数高效的适配器方法，通过建立文本和图像的缓存模型，并利用视觉 - 语言双模态信息进行检索以获得推理线索。通过动态调整关联比例实现跨模态融合，解耦不同模态相似性以评估其各自的贡献，并通过适应性调整样本学习强度来增强模型性能。实验结果表明，XMAdapter 在准确性、泛化能力和效率方面明显优于以前的基于适配器的方法。

Apr, 2024