本文旨在通过 fine-tuning 目标语言准备（TLR）适配器来取得高传输性能，同时不牺牲 MAD-X 的高度模块化设计。

Jun, 2023

本文研究了利用 adapters 实现单语言检索模型的跨语言迁移，证明了使用 adapters 的密集检索模型在语言迁移方面比整个模型 fine-tuning 更加有效。

Dec, 2022

本文提出在预训练的多语言模型上训练语言家族适配器，以促进跨语言转移。该模型一致优于其他基于适配器的方法，并证明了语言家族适配器提供了一种有效的将语言翻译到预训练期间未见过的语言的方法。

Sep, 2022

我们提出了一种新的跨语言转移方法 $\texttt {AdaMergeX}$，利用自适应适配器合并，在引入参考任务的基础上，结合其他三个适配器可以获得目标适配器，实验证明该方法在各种设置下都能提供新的有效的跨语言转移，优于现有方法。

Feb, 2024

本文研究了在机器翻译领域中适配器的组成方法，旨在实现多领域和多语言（全资源场景）的参数效率适配，或在无法提供特定语言对的平行数据（部分资源场景）中的跨语言转移。适配器通常由语言特定的适配器和领域特定的适配器组成，但这篇论文发现了将两种适配器简单组合的方法往往会造成缺失语言的灾难性遗忘，因此提出了新的适配器组合方式以减轻这一问题，并最大程度地实现跨语言转移。通过此种最佳适配器组合方式，我们实现了在没有场内数据的源语言上平均提高 3-4BLEU，而在没有场内数据的目标语言上与反向翻译相结合也达到了类似的改进。

Oct, 2021

该研究提出了一种基于文本参数生成和适配器模块的新型多语言任务适应方法，该方法通过语言嵌入来学习适配器，同时在各种语言之间共享模型参数，可有效地集成现有的语言类型学特征到分析网络中，并在高资源和低资源语言中均显着优于强的单语言和多语言基线，这表明了所提出的适应方法的成功。

Apr, 2020

通过分析变压器语言适配器的操作，我们表明适应某个新的目标语言的预测主要在模型训练时所使用的源语言上进行了演化，而目标语言仅在模型的最后几层中变得明显。此外，适应过程是渐进的，并分布在各个层次上，可以跳过少量适配器而不降低适应性能。最后，我们发现适配器在模型的冻结表示空间上操作，同时在很大程度上保留其结构，而不是在 “独立” 的子空间上操作。我们的研究结果深入了解了语言模型对新语言的适应过程，展示了底层模型所施加的约束，并引入了增强其效率的实际应用意义。

Feb, 2024

本文研究了使用适配器在软件工程中进行知识转移的方法，对 C/C++、Python 和 Java 三种编程语言中的 cloze 测试和代码克隆检测等任务进行了广泛的实验，并将该方法与基准进行了比较，在参数数量、内存使用和推理时间等方面更加高效。

Apr, 2022

本文研究提出了一种通用多语言模型的框架，该框架利用深度学习架构实现语音助手设备的自然语言理解，显著减少了单独开发每种语言模型所需要的努力和维护成本，并在多语种环境下取得了比单语种环境下更好的研究成果。

Dec, 2020

预训练多语言模型的容量和效果已经得到确认，但对于零样本跨语言转移中的积极或消极转移现象以及语言选择的影响还需进一步理解，本研究提出了一种高效的方法，通过专用适配器单元将下游任务与语言分离，发现一些语言对其他语言影响不大，而一些未在预训练中出现的语言对不同目标语言具有极大益处或有害，我们发现没有任何一种语言对所有目标语言都有益，但奇怪的是我们观察到，之前未被多语言模型预训练见过的语言总是从任何语言的转移中受益，此外，我们利用模块化方法高效量化负面干涉并相应分类语言，最后，我们提供了一系列有希望改善目标语言性能的转移 - 目标语言配置。

Mar, 2024