本文介绍了一个基于参数高效适配器模块的 AdapterHub Playground 工具，为使用预训练模型进行自然语言处理任务的研究人员提供了一个直观的界面，并且通过案例展示了其性能提升的优点，同时还进行了用户研究。

Aug, 2021

Adapters 是一个开源库，将参数高效和模块化的迁移学习统一起来，通过整合 10 种不同的适配器方法，提供简便的使用和灵活的配置；该库通过组合模块允许研究人员和从业者利用适配器的模块化设计复杂的适配器设置；通过在各种自然语言处理任务上评估其性能，我们展示了该库的有效性；Adapters 为解决传统微调范式的挑战和促进更高效和模块化的迁移学习提供了一个强大的工具；该库可通过此链接获取。

Nov, 2023

通过适配器模块实现神经网络参数共享，避免针对每个任务都需要重新训练整个神经网络的问题。将适配器模块应用于 BERT Transformer 可以达到接近完全微调的性能，同时每个任务只需增加 3.6％的可训练参数，表现十分出色。

Feb, 2019

本文提出了一种简单而有效的适配器方法来提高预训练模型在下游任务的稳定性和抗攻击性。该方法为预训练模型的每层插入小型的瓶颈层，然后在下游任务数据上固定预训练层并训练适配器层，通过在任务特定的无监督训练和监督训练 (e.g., 分类、序列标注) 的过程中，提高了转移学习的性能。

Aug, 2021

通过在预先训练的模型中插入轻量级适配器模块，将自监督语音模型适应到说话人验证任务中，我们提出了一个高效的适配器框架。实验结果表明，该框架在更新仅 5% 的参数的情况下，超过了微调和其他参数高效的迁移学习方法，实现了卓越的性能。

Mar, 2024

本文提出了一种适应能力强的适配器层，不同数据集可采用不同的激活函数及适配器层，并且可选择最优的适配器层，以达到与标准适配器层相近的性能表现。这种新型适配器层可使模型的存储及训练效率更高，并能在低数据情况下取得更好的性能表现。

May, 2022

本文提出了一种通过使用共享的超网络生成适配器参数来学习所有层和任务的参数高效的多任务学习框架，从而在跨任务共享知识的同时，通过任务特定的适配器使模型适应每个单独的任务，并在已知的 GLUE 基准测试中实现了多任务学习的改进性能。

Jun, 2021

提出 K-Adapter 框架以支持在 RoBERTa 上进行多种类型的知识注入，该框架拥有一个适配器与 RoBERTa 相连，并且在适配器之间没有信息流动，因此可以以分布式方式有效地训练多个适配器。通过在三个知识驱动的任务上的实验，如实体分类、关系分类和问题回答，证明了每个适配器都可以提高性能，并且两个适配器的组合带来了进一步的改进。与 RoBERTa 相比，进一步的分析表明，K-Adapter 更能捕捉不同类型的知识。

Feb, 2020

本文提出了一种名为 AdapterDrop 的方法，使得从 Transformer 层中移除适配器可以动态地减少多任务推理的计算开销，且可以在保持整体性能的同时提高推理效率。

Oct, 2020

本文研究使用适配器将预训练的 wav2vec 2.0 模型进行微调，以减少自动语音识别任务对参数的需求，提高模型的可扩展性和效率。应用适配器后，每个任务的参数少于 10％，性能降低很少。结果表明，通过仅向预训练网络的前几层添加适配器，就可以实现与完全迁移相似的性能，进一步优化了效率。

Feb, 2022