本文旨在通过 fine-tuning 目标语言准备（TLR）适配器来取得高传输性能，同时不牺牲 MAD-X 的高度模块化设计。

Jun, 2023

本文提出 MAD-X 适配器框架，通过学习模块化的语言和任务表示来实现对任意任务和语言的高移植性和参数有效的转移。在命名实体识别和因果常识推理中定型后，MAD-X 在跨类型多样的语言跨语言转移方面优于最新技术水平，并在问答方面取得具有竞争力的结果。

Apr, 2020

在不存在语言的监督数据的情况下，本文研究了语言适配器在自然语言理解任务中零样本跨语言转移中的作用，通过对两个多语言模型和三个多语言数据集的详尽消融研究，结果表明目标语言适配器在任务、语言和模型间影响高度不一致。相比之下，保留源语言适配器通常能够获得相当甚至更好的性能，训练后去除语言适配器只有较弱的负面影响，表明语言适配器对于预测结果的影响并不显著。

Jan, 2024

该研究提出了一种名为 X-METRA-ADA 的交叉语言 MEta-TRAnsfer 学习 ADAptation 方法，其采用元学习技术来增强自然语言理解（NLU）领域中的跨语言转化，并通过两个跨语言 NLU 任务的大量实验证明了该方法性能优于朴素微调方法，该方法能够利用有限数据进行更快的适应。

Apr, 2021

本文提出了在 SemEval-2024 Task 1 中开发的系统：用于非洲和亚洲语言的语义文本相关性。该共享任务旨在测量句子对之间的语义文本相关性，重点关注一系列少数语言。我们在这项工作中提出了使用机器翻译进行数据增强来解决有限训练数据的低资源挑战。此外，我们对未标记任务数据进行任务自适应预训练，以弥合预训练和任务适应之间的差距。对于模型训练，我们研究了完全微调和基于适配器的微调，并采用适配器框架实现了有效的零次跨语言迁移。在共享任务中，我们取得了具有竞争力的结果：我们的系统在子任务 A（监督学习）和子任务 C（跨语言迁移）中排名最高。

Apr, 2024

本文研究了利用 adapters 实现单语言检索模型的跨语言迁移，证明了使用 adapters 的密集检索模型在语言迁移方面比整个模型 fine-tuning 更加有效。

Dec, 2022

多语种语言模型，交叉语言迁移，源语言，嵌入空间，语言组合

Feb, 2024

本文提出在预训练的多语言模型上训练语言家族适配器，以促进跨语言转移。该模型一致优于其他基于适配器的方法，并证明了语言家族适配器提供了一种有效的将语言翻译到预训练期间未见过的语言的方法。

Sep, 2022

本文介绍了一种创新技术称为自适应模型融合（AdaMerging），该方法通过无监督任务算术方案自动学习模型融合的系数，既可以在任务层面上，也可以在层级层面上，而无需依赖原始训练数据。实验结果表明，与当前最先进的任务算术融合方案相比，AdaMerging 在性能上有显著的 11% 改进，并且在应用于未见过的下游任务时表现出更好的泛化能力，同时还显著提高了对数据分布漂移的鲁棒性。

Oct, 2023

ALTER 是一个基于小型语言模型的多任务学习系统，它通过混合任务适应器来同时处理多个自然语言处理任务，以支持领域特定的应用。实验证明，ALTER 提出的 MTA 架构和二阶段训练方法实现了良好的性能。

Sep, 2023