Feb, 2024

基于输出评估的高效 LoRA 参数剪枝技术

TL;DR通过分析 LoRA 的输出来评估参数的重要性,我们提出了 LoRA-drop 方法,对于重要层保留原有参数,而对其他层则共享同一组参数。大量的 NLU 和 NLG 任务实验证明了 LoRA-drop 的有效性。