去枝遇见低秩参数高效微调

May, 2023

Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning

Mingyang Zhang, Haozhen, Chunhua Shen, Zhen Yang, Linlin Ou...

TL;DR本文提出了一个名为 LoRAPrune 的统一框架，旨在实现高性能的大规模预训练模型的高效微调和部署，其中使用了 PEFT 感知的剪枝标准和基于 Low-Rank Adaption（LoRA）的梯度值和梯度的重要性估计，通过迭代剪枝过程以最大化 PEFT 的优点来删除冗余参数，实现了高精度和高压缩比的目标。实验结果表明，我们的方法在各个任务中都达到了最先进的结果，并且在 VTAB-1k 基准测试中，使用可训练参数的仅 0.76％，产生的平均 Top-1 准确率比幅度和移动剪枝方法高 5.7％和 4.3％，在保留微调优点的同时实现与 PEFT 方法可比较的性能。

Abstract

large pre-trained models (LPMs), such as LLaMA and ViT-G, have shown exceptional performance across various tasks. Although parameter-efficient fine-tuning (PEFT) has emerged to cheaply fine-tune these large models on downstream tasks, their deployment is still hindered by the vast mod

large pre-trained models parameter-efficient fine-tuning neural network pruning loraprune model compression

发现论文，激发创造

PRILoRA：修剪和增大秩的低秩适应

PRILoRA 通过在线性分配不同的秩给每一层并在训练过程中进行剪枝，考虑到权重的临时大小和给定层的输入的累积统计信息，验证了其在八个 GLUE 基准测试中的有效性，取得了最新的技术成果。

Jan, 2024

Light-PEFT: 轻量级参数高效微调通过早期修剪

Light-PEFT framework enables efficient fine-tuning by pruning redundant parameters in the foundation model and PEFT modules, resulting in improved training and inference speed, reduced memory usage, and comparable performance to standard PEFT.

Jun, 2024

APT: 自适应剪枝和调整预训练语言模型用于高效训练和推理

通过自适应修剪和调整参数，APT 可以提高语言模型的训练和推理效率，同时保持高性能。

Jan, 2024

用于参数高效微调的 Mini-Ensemble 低秩适配器

MELoRA 是一种采用较少可训练参数但保持较高秩的迷你低秩适配器，用于针对预训练大型语言模型进行性能优化的方法。实验证明，在自然语言理解和指令跟随任务上，相较于低秩适配器 LoRA，MELoRA 在拥有 8 倍较少可训练参数时表现更好，而在指令跟随任务上拥有 36 倍较少可训练参数时也表现更好，证明了 MELoRA 的有效性。

Feb, 2024

IncreLoRA：增量参数分配方法用于参数高效微调

提出了一种增量参数分配方法 IncreLoRA，通过根据每个模块的重要性得分，在训练期间自适应地添加可训练参数，以应对有限训练条件下参数剪枝的限制，实现更高的参数效率，并在低资源设置下显著优于基准方法。

Aug, 2023

深层网络的不合理无效性

通过对热门的开放式权重预训练 LLMs 进行实证研究，我们发现在移除大部分（最多一半）层之前，其在不同的问答基准测试中仅出现轻微性能下降；因此，层剪枝方法可以在减少计算资源的同时提高推理的内存和延迟，并暗示当前的预训练方法未充分利用网络较深层的参数，或者浅层起到了关键的存储知识的作用。

Mar, 2024

预训练语言模型的参数高效微调方法：关键评估与考察

预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。

Dec, 2023

大语言模型的贝叶斯低秩适应

使用 Laplace-LoRA 方法，对参数高效微调的大型语言模型进行贝叶斯方法，提高模型的校准性。

Aug, 2023

大型模型的参数高效微调：综合调查

通过介绍 Parameter Efficient Fine-Tuning 算法以及系统实现相关内容，该论文对大模型在计算成本方面的问题进行了综述，提供了对性能和系统实施的深入洞察，为研究人员了解最新发展和实际应用提供了不可或缺的资源。

Mar, 2024

RoSA：鲁棒适应实现准确的参数高效微调

我们研究了能够在计算和内存有限的情况下提供良好准确度的参数高效调整方法（PEFT），我们提出了一种新的 PEFT 方法称为 Robust Adaptation（RoSA），通过在一组固定的预训练权重之上联合训练低秩和高度稀疏的组件，有效地逼近全精调（FFT）解决方案的性能，在需要进行精细调整以获得良好性能的挑战性生成任务中，如小学数学和 SQL 查询生成，我们展示了 RoSA 优于 LoRA 和纯稀疏调整在相同参数预算下的性能。我们为 RoSA 提供系统支持，以在训练算法中补充，具体为稀疏 GPU 内核，实现内存和计算上的高效训练。我们的代码将在 https://github.com/IST-DASLab/RoSA 上提供。

Jan, 2024