Jun, 2024

MoreauPruner：针对权重扰动的大型语言模型稳健修剪

PDF
TL;DR在大型语言模型中，考虑到模型权重的扰动效应，我们通过优化分析和 Moreau 包络来提出了一种名为 MoreauPruner 的结构剪枝方法，能够稳定地对模型进行剪枝，并成功地与其他几种剪枝方法进行了比较。
few-shot gradient methodsmodel pruninglarge language modelsstructural pruningweight perturbations
发现论文，激发创造
  • 大规模语言模型的优化结构裁剪方法

    基于优化的结构剪枝方法通过在概率空间中学习剪枝掩码，通过前向传递和策略梯度估计器进行高效优化，实现对大型语言模型的剪枝，并在复杂性和效果方面超越现有方法。

    Jun, 2024

  • 超越大小：梯度如何塑造大型语言模型的剪枝决策

    预训练的大型语言模型的梯度为基础的模型修剪器（GBLM-Pruner）通过利用卡尔曼几何中的几何相互关联性明显胜过其他竞争对手，并在各种语言评估中超过了幅度修剪、Wanda 和 SparseGPT。

    Nov, 2023

  • 大型语言模型的简单有效剪枝方法

    本文介绍了一种名为 Wanda 的裁剪方法，旨在在无需微调或权重更新的情况下诱导预训练 LLMs 的稀疏性，并在 LLaMA 上进行全面评估，实验证明 Wanda 在各种语言基准测试中显著优于基线剪枝方案，并与涉及大量权重更新的最近方法竞争优势。

    Jun, 2023

  • 修剪大型语言模型的快速和最优权重更新

    本文提出了一种基于交替方向乘法器的快速最优权重更新算法来修剪大型语言模型，配合简单的迭代修剪掩码选择，在广泛范围的大型语言模型中实现了最先进的剪枝性能。

    Jan, 2024

  • 大规模语言模型的结构剪枝 ——LLM-Pruner

    提出一种名为 LLM-Pruner 的方法，在保持多任务求解和语言生成能力的同时，通过结构修剪来压缩 LLM，使得压缩模型在零样本分类和生成上仍然表现出令人满意的能力，并且只需要 50K 数据，在 3 小时内就能通过调整技术（LoRA）有效地恢复性能。

    May, 2023

  • 大规模语言模型的高效剪枝与自适应推理融合

    用于资源受限设备的大型语言模型结构剪枝方法，在多层结构的基础上，通过自适应建模和融合估计结果实现了对每个子结构的重要性的自适应调整，实验结果表明在主流数据集上相比最先进的方法，平均准确率提高了 1.1％，1.02％，2.0％和 1.2％。

    Mar, 2024

  • 剪枝加速的 LLaMA：通过结构化剪枝加快语言模型预训练

    利用结构修剪技术从预训练的大型语言模型生成更小但功能强大的语言模型。这项工作通过展示 Sheared-LLaMA 系列，在仅使用相当于从头训练这些模型所需计算量的 3％的情况下，将 LLaMA2-7B 模型修剪为 1.3B 和 2.7B 参数，优于等规模的开源模型，并提供了使用结构修剪来构建更小型语言模型更具成本效益的佐证。

    Oct, 2023

  • 基于波动的自适应结构修剪大型语言模型

    通过提出一种新颖的名为 FLAP（基于波动的自适应结构修剪）的网络学习模型无需再训练就能进行结构修剪的框架，可以有效减少存储和提高推理速度，大大优于现有的基于结构修剪的方法，同时通过制定结构重要性度量，自适应搜索全局压缩模型，并实施补偿机制来缓解性能损失。

    Dec, 2023

  • Pruner-Zero: 大规模语言模型的从零开始的演化符号修剪度量

    大型语言模型（LLMs）由于其庞大的规模而面临部署挑战。修剪方法通过去除权重的子集来加速，但其中许多需要重新训练，这是昂贵且计算需求高的。最近，提出了后训练修剪方法引入了新的度量标准，使得可以无需重新训练就能进行 LLMs 的修剪。然而，这些度量标准需要人工专家的参与和繁琐的试错。为了高效地确定优越的修剪度量标准，我们开发了一个自动框架来使用遗传编程搜索符号修剪度量标准。具体来说，我们设计了一个细致的搜索空间，涵盖现有的修剪度量标准，以发现潜在的符号修剪度量标准。我们提出了一种对立运算简化策略，以增加种群的多样性。通过这种方式，Pruner-Zero 允许自动生成符号修剪度量标准。基于搜索结果，我们探索了修剪度量标准与修剪后性能之间的相关性，并总结了一些原则。在语言建模和零样本任务的 LLaMA 和 LLaMA-2 上的大量实验表明，我们的 Pruner-Zero 的性能优于 SOTA 的后训练修剪方法。代码地址：https://github.com/pprp/Pruner-Zero。

    Jun, 2024

  • ALPS：面向大型语言模型的高度稀疏一次性修剪的改进优化

    本文介绍了一种名为 ALPS 的基于优化的框架，用于通过操作拆分技术和预条件共轭梯度后处理步骤处理修剪问题，并结合向量化和 GPU 并行性以提高效率，在修剪目标和困惑度降低方面远远超过现有方法，特别是对于高度稀疏的模型。在 OPT-30B 模型上，其稀疏度为 70％，ALPS 在 WikiText 数据集上实现了 13％的测试困惑度减少和比现有方法提高了 19％的零样本基准性能。

    Jun, 2024