May, 2024
Trans-LoRA: 迈向无数据条件下的可转移参数高效微调
$\textit{Trans-LoRA}$: towards data-free Transferable Parameter Efficient Finetuning
Runqian Wang, Soumya Ghosh, David Cox, Diego Antognini, Aude Oliva...
TL;DR通过使用合成数据集,我们提出了一种新的方法来无损地将低秩适配器模块从一个基准模型转移到另一个基准模型,这项方法能够在不同的基准模型族之间,甚至不同的参数优化方法之间,在各种任务上实现低秩适配器的转移。