PEMT：多任务相关导引的专家组合混合使得参数高效迁移学习

Feb, 2024

PEMT：多任务相关导引的专家组合混合使得参数高效迁移学习

PEMT: Multi-Task Correlation Guided Mixture-of-Experts Enables Parameter-Efficient Transfer Learning

Zhisheng Lin, Han Fu, Chenghao Liu, Zhuo Li, Jianling Sun

TL;DR我们提出了一种基于多任务迁移学习的新型参数高效微调框架 (PEMT)，通过在源任务上训练适配器的加权组合来捕捉可转移的知识，同时利用任务描述提示向量来衡量目标任务与每个源任务之间的相关性，以充分利用任务特定的知识并提高稀疏性。实验证明，我们的方法在各种任务上相较于完全微调、PEFT 和知识转移方法都取得了稳定的改进，突出了其能够充分利用多任务之间的知识和相关特征的有效性。

Abstract

parameter-efficient fine-tuning (PEFT) has emerged as an effective method for adapting pre-trained language models to various tasks efficiently. Recently, there has been a growing interest in transferring knowledge from one or multiple tasks to the downstream target task to achieve per

parameter-efficient fine-tuning multi-task transfer learning adapters knowledge transfer task-specific knowledge

发现论文，激发创造

改进和解释预训练语言模型的语言专家混合适配器

本研究提出了一种方法，在参数高效微调（PEFT）环境中将语言结构注入到预训练语言模型中。我们使用一种新颖的语言专家混合体架构，将编码不同语言结构的并行适配器模块进行组合，并使用 Gumbel-Softmax 门来确定模型每一层中这些模块的重要性。为了减少参数数量，在修剪专家之前，我们首先对模型进行了固定步骤的训练。我们用三种不同的预训练模型进行实验，结果表明我们的方法在具有相当数量的参数的情况下，能够胜过最先进的 PEFT 方法。此外，我们还提供了额外分析，以检查和提供未来研究的见解。

Oct, 2023

Context-PEFT: 高效多模态、多任务微调

提出了一种用于多模态、多任务迁移学习的新型参数高效调参方法（PEFT）框架，它通过 LoRA、BitFit 和 IA3 等技术，在几乎不需要可训练参数和 GPU 内存的情况下，展示了与预训练模型完全微调相当的性能，然而，在多模态微调中，经常需要进行架构修改或完全微调。为了解决这个问题，我们提出了 Context-PEFT，它根据令牌的领域学习不同的适配器参数组，这种方法使得可以实现类似 LoRA 的权重注入，而不需要额外的架构修改。我们的方法在 COCO 字幕任务上进行评估，在类似的数据限制下，优于完全微调，并同时提供了更高的参数效率和计算经济性的解决方案。

Dec, 2023

参数高效迁移学习在机器翻译中的适用条件

本文通过全面实证研究发现，适当的 Tuning 数量的 Parameter-efficient fine-tuning methods，特别是使用了嵌入小型前馈神经网络 (adapters) 的模型，可以在机器翻译 (MT) 任务上达到效果与全模型调整类似的水平，尤其当参数预算为 10％的情况下。但是，当调优参数数量减少时，PEFT 的性能会随之减弱，这一降低幅度取决于语言对的关系，而对于小型数据集，PEFT 的性能优于同样的预训练模型的全模型调整。

May, 2022

通过知识交互改善参数高效微调

提出了一种新的 fine-tuning 框架，名为 GIST，通过引入 Gist token 和知识交互的概念，增强了 PEFT 方法在下游任务中的性能，进一步提升了预训练模型对下游任务的理解能力。

Dec, 2023

MoPEFT: 用于分割任何模型的 PEFT 混合模型

提出了一种新的框架，Mixture-of-PEFTs methods (MoPEFT)，它通过将三种不同的 PEFT 技术作为子模块，动态学习激活最适合给定数据任务设置的方法来对 Segment Anything Model 进行微调。在 MESS 基准测试中，我们对该方法进行了测试，并显示出 MoPEFT 在性能优化方面始终优于其他微调方法。

May, 2024

多模态大语言模型参数高效微调的实证研究

使用四种常见的 PEFT 方法对开源 MLLMs 的 LLM 组件进行微调，比较它们在参数效率方面的表现，结果显示 adapter 是效果最好的 PEFT 方法。

Jun, 2024

医学图像分析的参数高效微调：错过的机会

本文首次全面评估 Parameter-Efficient Fine-Tuning (PEFT) 技术对不同医学图像分析任务的适用性，通过超过 600 个控制实验，研究并比较了 16 种不同的 PEFT 方法，解决了 PEFT 技术在基础模型中的应用问题，展示了在某些情况下的高达 22% 的表现提高，并证明了 PEFT 对于医学图像识别和文本到图像生成具有实际应用价值。

May, 2023

低资源语言翻译的参数高效微调解锁

参数高效微调方法在适应多样化任务的大规模预训练语言模型中变得越来越重要，通过在资源有限的语言机器翻译中提高翻译准确性来实现适应性和计算效率的平衡。通过使用 SacréBLEU 评分，我们进行了具备不同资源和域的全面实证实验，评估了共计 15 种架构的 8 种参数高效微调方法的性能。结果表明，6 种参数高效微调架构在域内和域外测试中均超过了基准线，其中 Houlsby+Inversion 适配器表现最佳，验证了参数高效微调方法的有效性。

Apr, 2024

软件工程任务中参数高效微调的综合评估

基于预训练模型的参数高效调整方法在软件工程领域的效果与效率的全面评估研究。

Dec, 2023

预训练语言模型的参数高效微调方法：关键评估与考察

预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。

Dec, 2023