- 利用大型预训练模型与适配器混合进行领域泛化
通过参数高效的微调方法和专家混合模型适配器，我们在不同数据分布情况下实现了优秀的性能，解决了分布转移引起的性能下降问题。
- 参数高效技术与完全微调之间的比较：多语言新闻文章分类案例研究
适配器和低秩适应（LoRA）是旨在使语言模型训练更加高效的参数节约微调技术。本研究通过调查这些技术在多语言文本分类任务中（流派、框架和说服技巧检测；具有不同输入长度、预测类别数量和分类难度；其中一些任务数据有限）与全面微调相比，对分类性能和 - 利用适配器实现句子嵌入的高效领域自适应
使用适配器实现参数高效的领域适应方法，通过仅训练少量额外参数而不更新整个句子嵌入模型的权重，以实现句子嵌入在特定领域的适应。结果表明，在仅训练约 3.6% 的参数的情况下，使用适配器进行句子嵌入的领域适应可以获得与完全调整的模型性能相似的结 - ACL具备目标语言适配器的跨语言迁移
本文旨在通过 fine-tuning 目标语言准备（TLR）适配器来取得高传输性能，同时不牺牲 MAD-X 的高度模块化设计。
- DeepFake-Adapter: 深度伪造检测的双层适配器
本文提出了第一种参数高效调节 deepfake 检测模型的方法 DeepFake-Adapter，该方法采用适配器模块从大型预训练 Vision Transformers 中提取高级语义，以有效且高效地帮助 deepfake 检测。通过在 - AdapterEM: 使用 Adapter-tuning 的预训练语言模型适应通用实体匹配
本研究提出一种新的参数高效的模型微调方法（Adapters），并使用这种方法在实体匹配中获得了与使用全模型微调相当或更优的结果。Adapters 方法不仅参数较少，而且可以捕捉 Token 级别的语言表示，并利用预训练 Adapters 实 - CAILA: 概念感知内部层适配器用于组合式零样本学习
研究了组合零样本学习 (Compositional Zero-Shot Learning, CZSL) 的问题，并提出了一种新方法 CAILA，其中使用结构插座，增加了对 “对象”，“属性” 和 “组合” 的概念的知觉，相对于现有技术，CA - Bactrian-X: 低秩适应的多语言可复制指令跟随模型
本文介绍了如何使用 Bactrian-X 数据集；使用低秩适应（LoRA）的一组 adapter 进行多语言指令优化，取得了比现有模型更优的效果。
- 适配器效率的全面分析
通过对多个 adapter、任务和语言在有监督和跨语言零 - shot 设置中进行广泛实验，作者发现对于自然语言理解任务，adapter 的参数效率并不会转化为与全微调一样的效率优势。同时，使用多任务训练通过全微调也能达到与 adapter - SAFE: 带分片图的机器遗忘
提出了一种名为 SAFE 的方法，它利用适配器将数据集分区训练出的模型进行整合，实现在减少遗忘代价的同时提高了精度。该方法可在计算重用的情况下使用轻量级适配器进行训练，并在细粒度计算机视觉数据集上进行了实证。
- I2I: 利用临时知识进行适配器初始化
提出 I2I，一种连续学习算法，利用先前学习过的任务中的适配器，为即将到来的任务初始化适配器，从而在多模式学习中实现知识转移，并取得比独立训练更好的任务准确度。
- 面向任务的高效剪枝适配器
本文介绍了一种任务导向的剪枝适配器方法，可以在保持 GLUE 任务准确度的前提下，大幅提高训练和推理的内存和时间效率。
- 使用适配器的参数高效稀疏检索器和重排器
研究了适配器在信息检索领域中的应用，指出适配器 - SPLADE 可以优化只有 2％的训练参数，比全微调模型和现有的参数高效密集 IR 模型表现更佳，并探讨了适配器在跨领域 BEIR 数据集和 TripClick 上的领域自适应，以及 正确 - 基于 SURE 基准的参数高效迁移学习方法在语音理解领域的评估
本文介绍了一种针对语音处理任务的参数高效学习算法 —— 适配器（adapters）以及一种新的名为 ConvAdapter 的适配器，它利用一维卷积来代替全量微调。实验证明，ConvAdapter 在某些任务中的表现优于标准适配器，且与前缀 - ACLUDApter - 使用 Adapter 的高效域适应
通过在大规模预训练语言模型中插入小的瓶颈层，我们提出了两种无监督领域自适应更加参数高效的方法，通过实验表明，我们的简单方法在自然语言推理和跨领域情感分类任务中性能良好。
- 使用适配器实现跨语言稠密检索的高效零 - shot 转移
本文研究了利用 adapters 实现单语言检索模型的跨语言迁移，证明了使用 adapters 的密集检索模型在语言迁移方面比整个模型 fine-tuning 更加有效。
- EMNLP将领域知识注入语言模型以用于面向任务的对话系统
本研究中，我们使用轻量级 adapters 来注入特定领域的知识以在 TOD 任务上进行微调，通过 KPRS 探测方法证明 adapters 对于对话生成任务有着优秀的表现。
- 源代码的参数高效微调变压器
本文介绍了针对代码的预训练模型参数高效微调的适配器和 LoRA 两种方法，经过四项代码处理任务测试，发现这些高效微调方法在代码理解任务中可以实现可比或更高的性能，但在代码生成任务中性能不如标准的全微调。这些结果强调了在其他领域测试高效微调方 - 自我监督模型引导的普适框架，以提高参数效率的微调
提出了一个增强参数高效方法的少样本适应和跨领域泛化能力的通用框架，通过使用自监督模型来迅速适应各种下游少样本任务，并在一个包含 160 个不同 NLP 任务的跨领域基准上进行了实验证明，在额外的训练任务调整 PLM 的前提下最佳性能，综合分 - 结构化剪枝适配器
本文提出了一种基于结构化剪枝的适配器网络结构，它使用微小参数集和结构化剪枝来加速和专门针对计算机视觉任务进行网络适配，相比于 fine-tuning 和传统剪枝方法，这种方法在减少参数的同时提升了模型准确性。