Feb, 2024

基于输出评估的高效 LoRA 参数剪枝技术

PDF
TL;DR通过分析 LoRA 的输出来评估参数的重要性，我们提出了 LoRA-drop 方法，对于重要层保留原有参数，而对其他层则共享同一组参数。大量的 NLU 和 NLG 任务实验证明了 LoRA-drop 的有效性。
low-rank adaptationloraparametersscaling uplora-drop
发现论文，激发创造
  • SuperLoRA: 多层注意力模块参数高效统一适应

    提出了一个称为 SuperLoRA 的广义框架，将不同的 LoRA 变体统一并扩展，通过引入分组、折叠、洗牌、投影和张量分解等方法，SuperLoRA 相对于其他 LoRA 变体具有更高的灵活性，在转移学习任务中表现出卓越的性能，尤其在极低参数的情况下表现出色。

    Mar, 2024

  • LoRA 遇见 Dropout: 一个统一框架下的研究

    基于对参数高效 LoRA 的研究，我们重新审视了特定于 Transformer 的 Dropout 方法的数学和经验上的等价性和区别，并基于此提出了一个统一的框架，揭示了当涉及到有限可训练参数时它们的新偏好和性能比较。这个框架还允许我们将最有利的方面融合成一个名为 HiddenKey 的新的 Dropout 方法，广泛的实验证实 HiddenKey 在多个模型和任务上具有显著的优势和足够性，将其作为大语言模型高性能和参数高效微调的首选方法。

    Feb, 2024

  • IncreLoRA：增量参数分配方法用于参数高效微调

    提出了一种增量参数分配方法 IncreLoRA，通过根据每个模块的重要性得分，在训练期间自适应地添加可训练参数，以应对有限训练条件下参数剪枝的限制，实现更高的参数效率，并在低资源设置下显著优于基准方法。

    Aug, 2023

  • LoRA 丢弃法作为过拟合控制的稀疏正则化器

    本文提出了一种 LoRA Dropout 机制，通过向可学习的低秩矩阵引入随机噪声和增加参数稀疏性，从稀疏正则化的角度证明了 LoRA Dropout 机制的理论机制，并提供了在该框架下的泛化误差界限。理论结果表明适当的稀疏性可以帮助缩小经验风险和泛化风险之间的差距，从而控制过拟合。此外，基于 LoRA Dropout 框架，引入了测试时集成策略，并提供了理论证据证明集成方法可以进一步压缩误差界限，在推理时获得更好的性能。在各种自然语言处理任务上进行的广泛实验验证了我们的 LoRA Dropout 框架在提高模型准确性和校准性方面的实际有效性。

    Apr, 2024

  • PRILoRA：修剪和增大秩的低秩适应

    PRILoRA 通过在线性分配不同的秩给每一层并在训练过程中进行剪枝，考虑到权重的临时大小和给定层的输入的累积统计信息，验证了其在八个 GLUE 基准测试中的有效性，取得了最新的技术成果。

    Jan, 2024

  • 大型语言模型的 LoRA 调查

    对于 Low-Rank Adaptation（LoRA），其通过更新神经网络层中的可插拔低秩矩阵来实现参数高效调整，这是最好的效果之一。此外，它在跨任务泛化和隐私保护方面具有显著优势。因此，近年来 LoRA 引起了广泛关注，并且相关文献数量呈指数增长。有必要对当前 LoRA 进展进行全面概述。本调查从以下角度对其进展进行分类和审查：（1）改进下游适应性方法以提高 LoRA 在下游任务上的性能；（2）交叉任务泛化方法将多个 LoRA 插件混合使用以实现交叉任务泛化；（3）提高计算效率的方法，以提升 LoRA 的计算效率；（4）在联邦学习中使用 LoRA 的数据隐私保护方法；（5）应用领域。此外，本调查还讨论了该领域的未来发展方向。

    Jul, 2024

  • PC-LoRA：基于知识蒸馏的逐步模型压缩的低秩适应

    逐步压缩低秩适应（PC-LoRA）方法通过低秩适应同时进行模型压缩和微调，最终仅保留低秩适配器以取代预训练权重，实现了参数和计算量的压缩。

    Jun, 2024

  • PeriodicLoRA: 打破 LoRA 优化中的低秩瓶颈

    本研究探讨了一种改进的 LoRA 优化方法，称为 PeriodicLoRA（PLoRA），通过多次积累低秩更新矩阵来提高更新秩，并引入一种基于动量的卸载策略以减轻训练不稳定性。实验结果表明，PLoRA 具有更强的学习能力，最高可达到 LoRA 学习能力的 1.8 倍，但不增加内存使用。

    Feb, 2024

  • Run LoRA Run：更快更轻的 LoRA 实现

    LoRA 是一种通过引入低秩适配器到线性层中减少可训练参数数量的技术，本文提出了 RunLoRA 框架，用于高效实现 LoRA，从而显著提高神经网络训练和微调的速度。实验结果显示，在 Llama 系列模型中可以实现高达 17% 的加速。

    Dec, 2023

  • LoRA 学习更少，遗忘更少

    通过在编程和数学这两个目标领域上比较 Low-Rank Adaptation (LoRA) 和全精调 (full finetuning) 的性能，我们发现在大多数情况下，LoRA 的表现明显逊于全精调；然而，LoRA 展现了一种理想的正则化形式，并且可以更好地保持基础模型在目标领域之外的任务表现，同时比传统技术如权重衰减和 dropout 提供了更强的正则化效果，并有助于生成更多样化的结果。我们还发现全精调学习到的扰动比典型 LoRA 配置的秩高 10-100 倍，这可能解释了一些报告中的差距。最后，我们提出了在使用 LoRA 进行精调时的最佳实践建议。

    May, 2024