PEFA：大规模基于嵌入的检索模型的无参适配器

WSDMDec, 2023

PEFA：大规模基于嵌入的检索模型的无参适配器

PEFA: Parameter-Free Adapters for Large-scale Embedding-based Retrieval Models

Wei-Cheng Chang, Jyun-Yu Jiang, Jiong Zhang, Mutasem Al-Darabsah, Choon Hui Teo...

TL;DR基于嵌入的检索模型 (ERMs) 在大规模文本检索问题中作为一个有前途的框架出现，但是由于数据的规模庞大以及多阶段流水线（如预训练、微调、蒸馏）的复杂性，调整 ERMs 达到最先进的结果成本较高。在这篇论文中，我们提出了 PEFA 框架，即 ParamEter-Free Adapters，用于快速调整 ERMs 而无需进行后向传递的优化。在索引构建阶段，PEFA 为 ERM 添加了一个非参数的 k 近邻 (kNN) 组件。在推理阶段，PEFA 对两个得分函数进行凸组合，一个来自 ERM，另一个来自 kNN。基于邻域定义，PEFA 框架产生了两个实现，即 PEFA-XL (即额外大) 和 PEFA-XS (即额外小)，分别使用双 ANN 索引和单 ANN 索引。凭经验证明，PEFA 在两个检索应用中取得了显著的改进。对于文档检索，关于 Recall@100 指标，PEFA 改进了对 Trivia-QA 的预训练 ERMs 平均为 13.2%，对 NQ-320K 的微调 ERMs 平均为 5.5%。对于产品搜索，PEFA-XS 和 PEFA-XL 分别平均提高了微调 ERMs 的 Recall@100 指标 5.3% 和 14.5%。我们的代码可以在此 https URL 找到：amzn/pecos/tree/mainline/examples/pefa-wsdm24。

Abstract

embedding-based retrieval models (ERMs) have emerged as a promising framework for large-scale text retrieval problems due to powerful large language models. Nevertheless, fine-tuning ERMs to reach state-of-the-art results can be expensive due to the extreme scale of data as well as the

embedding-based retrieval models pefa framework k-nearest neighbor index building improvement on retrieval applications

发现论文，激发创造

LLM-Adapters：用于大型语言模型参数高效微调的适配器家族

本文提出 LLMs-Adapters 框架，利用少量可调参数对小型 LLMs 进行 fine-tuning，实现对各种任务的支持；在六种数学推理数据集上的实验表明，将 adapter-based PEFT 应用于小型 LLMs（7B）可以取得与强大的 LLMs（175B）相似甚至更优秀的性能，旨在推进 adapter-based PEFT 的研究，为 LM 大规模的 fine-tuning 提供了有价值的工具和框架。

Apr, 2023

KnowLA: 提升参数高效微调与专业适应性

通过将知识图嵌入到大型语言模型中，我们提出了一种名为 KnowLA 的知识适应方法，该方法通过在语言模型中插入适应层，将文本中出现的实体的嵌入融入到语言模型中，并与 LoRA 一起进行训练。实验结果表明 KnowLA 的有效性和鲁棒性，能够在不改变语言模型参数或输入提示的情况下，激活语言模型中的相关参数化知识以回答问题。

Mar, 2024

X-PEFT：面向极端多个配置的极其参数高效微调

引入 X-PEFT，一种新的参数高效微调方法，通过微调极小的紧凑张量，作为二进制掩码来自适应地选择给定适配器，从而解决适配器数量线性增加的问题，相较于传统的适配器微调，在每个配置文件的内存需求减少了 10000 倍，而在 LaMP 和 GLUE 任务中表现出与传统适配器微调相当或超越的效果。

Jan, 2024

适配器效率的全面分析

通过对多个 adapter、任务和语言在有监督和跨语言零 - shot 设置中进行广泛实验，作者发现对于自然语言理解任务，adapter 的参数效率并不会转化为与全微调一样的效率优势。同时，使用多任务训练通过全微调也能达到与 adapter 相同的可维护 / 可扩展性，而且提供相对更快的训练时间。因此，作者推荐在 NLU 任务中，从业者应该依赖于全微调或多任务训练而不是使用 adapter。

May, 2023

语音情绪识别和领域适应的参数高效微调

经验证，通过参数高效微调（PEFT）方法，结合精简可训练参数数量，能够有效提升语音情感识别（SER）模型的性能，并通过两阶段适应策略使模型具备更好捕捉自然情感表达的能力。

Feb, 2024

基于原型的超适配器用于高效的多任务调优

基于 Protoype 的 HyperAdapter（PHA）是一个建立在 adapter-tuning 和超网络的新框架，它采用实例密集检索器和原型超网络以更有效地生成条件模块，从而在多任务学习和少样本迁移学习中与现有的参数有效微调（PEFT）方法相比具有可比较的性能改进，并在数据规模较小时，与其他强基准相比，取得了显著的优势。基于对各种数据集的大量实证实验，我们证明 PHA 在可训练参数、模型精度和样本效率之间取得了更好的平衡。

Oct, 2023

用于参数高效微调的 Mini-Ensemble 低秩适配器

MELoRA 是一种采用较少可训练参数但保持较高秩的迷你低秩适配器，用于针对预训练大型语言模型进行性能优化的方法。实验证明，在自然语言理解和指令跟随任务上，相较于低秩适配器 LoRA，MELoRA 在拥有 8 倍较少可训练参数时表现更好，而在指令跟随任务上拥有 36 倍较少可训练参数时也表现更好，证明了 MELoRA 的有效性。

Feb, 2024

MEFT：通过稀疏适配器实现内存高效微调

通过使用较大的尺寸但内存高效的适配器，结合语言模型中前馈网络的固有激活稀疏性以及中央处理器内存相对于图形处理器更大的容量，我们提出了一种改进的方法来优化在有限资源下大型语言模型的微调性能。通过将较大尺寸的适配器的参数存储和更新在中央处理器上，并采用类似于专家混合 (MoE) 的架构来减少不必要的中央处理器计算和图形处理器之间的通信量，尤其是在 PCI Express (PCIe) 的有限带宽下，我们的方法可以实现与具有更大内存容量的情况下相媲美的微调结果，即使在较为有限的资源下，如只有 24GB 内存单 GPU 设置下，也能达到可接受的训练效率损失。

Jun, 2024

FeDeRA: 在联邦学习中利用权重分解实现语言模型的高效微调

基于预训练语言模型 (PLMs) 的联邦学习 (federated learning) 中，引入参数高效微调 (PEFT) 方法，通过奇异值分解 (SVD) 初始化适配器模块的 FeDeRA，在多个任务和数据集上实验，与全参数微调 (FT) 方法相比，FeDeRA 表现出色，训练时间显著缩短。

Apr, 2024

参数高效微调与适配器

该研究介绍了一种新的适应方法，使用 UniPELT 框架作为基础，并添加了 PromptTuning 层，从而在保持竞争力的同时显著减少了可训练参数的数量。该方法利用适配器实现了预训练模型向新任务的有效转移，无需重新训练基础模型参数。通过对三个不同数据集进行评估，研究结果表明，该基于适配器的方法在性能上与全模型微调、DAPT+TAPT 和 UniPELT 策略相当，而需要更少或相同数量的参数。这种参数效率不仅减轻了计算负担，还加快了适应过程。该研究强调了适配器在实现高性能以及显著节约资源消耗方面的潜力，为参数高效微调的未来研究方向提供了有益的提示。

May, 2024