本文介绍了 $k$NN-Adapter 方法，该方法是基于检索增强语言模型，通过将语言模型的输出和目标域数据存储中的检索结果进行自适应加权插值，有效地适应黑盒大型语言模型到新的领域。实验结果表明，$k$NN-Adapter 方法显著提高了语言模型的困惑度，在训练数据有限的情况下比微调更有效。

Feb, 2023

一种适用于新任务和域的轻量级语言模型细调方法，采用小型白盒模型细调结合概率级别的大型黑盒模型，可显着提高机器翻译等任务的性能。

May, 2023

该论文提出了一种名为 CoBB 的新方法，通过使用一个训练过的适应模型来将原始黑盒 LLM 的通常不完美的推理转化为正确或改进的推理，以显著提高各种 QA 基准的推理准确性。

Jun, 2024

MedAdapter 是一种针对生物医学应用的大型语言模型（LLMs）进行测试时间适应的统一后期适配器，通过仅针对小型适配器进行微调来有效地适应原始模型，进而在生物医学推理中实现了平均性能提高 25.48% 和 11.31%，无需大量计算资源或与第三方共享数据，既灵活又具备补充现有适应方法的优势。

May, 2024

本研究提出了一种简单而有效的适应 NMT 模型的方法，该方法是将微小的任务特定适配层注入预训练模型，能够同时适应多个不同的任务，并在两项任务中得到了验证，理论与全面的微调相当。

Sep, 2019

本研究提出了一种通过加入轻量级适配器模块在 BERT 编码器和解码器之间 fine-tuning 来应对语言生成任务的问题，并在神经机器翻译任务上验证了该方法的有效性。

Oct, 2020

本文提出 LLMs-Adapters 框架，利用少量可调参数对小型 LLMs 进行 fine-tuning，实现对各种任务的支持；在六种数学推理数据集上的实验表明，将 adapter-based PEFT 应用于小型 LLMs（7B）可以取得与强大的 LLMs（175B）相似甚至更优秀的性能，旨在推进 adapter-based PEFT 的研究，为 LM 大规模的 fine-tuning 提供了有价值的工具和框架。

Apr, 2023

提出了 Voicebox Adapter 方法，通过交叉注意力模块将细粒度条件整合到预训练的 Voicebox 语音生成模型中，探索了各种高效的微调方法，实验证明，采用具有偏差微调配置的 LoRA 方法性能最佳，提高了可控性同时保持了语音质量，表明 Voicebox Adapter 在三种细粒度条件生成任务中具有效力和资源效率，并且通过后续实验证明了在不同数据设置中 Voicebox Adapter 的鲁棒性。

Jun, 2024

本研究提出了一种基于 Brownian 距离协方差的 BDC-Adapter 方法，通过模拟所有可能关系以测量特征依赖性，在执行分类任务时可以灵活处理非线性关系并充分表征独立性，实验证明其在性能上大幅超过了当前最先进的方法。

Sep, 2023

本文研究了在机器翻译领域中适配器的组成方法，旨在实现多领域和多语言（全资源场景）的参数效率适配，或在无法提供特定语言对的平行数据（部分资源场景）中的跨语言转移。适配器通常由语言特定的适配器和领域特定的适配器组成，但这篇论文发现了将两种适配器简单组合的方法往往会造成缺失语言的灾难性遗忘，因此提出了新的适配器组合方式以减轻这一问题，并最大程度地实现跨语言转移。通过此种最佳适配器组合方式，我们实现了在没有场内数据的源语言上平均提高 3-4BLEU，而在没有场内数据的目标语言上与反向翻译相结合也达到了类似的改进。

Oct, 2021