BriefGPT.xyz
Jan, 2024
X-PEFT:面向极端多个配置的极其参数高效微调
X-PEFT: eXtremely Parameter-Efficient Fine-Tuning for Extreme Multi-Profile Scenarios
HTML
PDF
Namju Kwak, Taesup Kim
TL;DR
引入X-PEFT,一种新的参数高效微调方法,通过微调极小的紧凑张量,作为二进制掩码来自适应地选择给定适配器,从而解决适配器数量线性增加的问题,相较于传统的适配器微调,在每个配置文件的内存需求减少了10000倍,而在LaMP和GLUE任务中表现出与传统适配器微调相当或超越的效果。
Abstract
parameter-efficient fine-tuning
(PEFT) techniques, such as
adapter tuning
, aim to fine-tune a
pre-trained language model
(PLM) using a min
→