lora-drop | BriefGPT - AI 论文速递

关键词lora-drop

搜索结果 - 1

基于输出评估的高效 LoRA 参数剪枝技术
通过分析 LoRA 的输出来评估参数的重要性，我们提出了 LoRA-drop 方法，对于重要层保留原有参数，而对其他层则共享同一组参数。大量的 NLU 和 NLG 任务实验证明了 LoRA-drop 的有效性。
PDF5 months ago