Sep, 2024

CFSP：一种有效的结构化剪枝框架，利用粗到细的激活信息

HTML
PDF
TL;DR本研究解决了大型语言模型（LLMs）在实际应用中的庞大参数和计算开销问题，提出了一种新颖的结构化剪枝框架CFSP。该方法通过粗粒度和细粒度激活信息作为重要性标准，提高了剪枝效率，仅需一次前向传播即可完成特征激活计算，并在各类稀疏预算下表现优于现有方法。
发现论文，激发创造
  • 结构化剪枝学习紧凑而精确的模型

    提出 CoFi（粗细粒度剪枝）方法，该方法结合了粗细粒度模块的剪枝决策，并采用分层蒸馏策略将知识从未剪枝模型转移到已剪枝模型，使模型同时拥有与蒸馏方法相当的精度和延迟优势，而无需使用无标注数据。在 GLUE 和 SQuAD 数据集上的实验表明，CoFi 方法在速度和精度方面相对于以前的剪枝和蒸馏方法具有更高的效率和效果。

    Apr, 2022

  • 大规模语言模型的结构剪枝——LLM-Pruner

    提出一种名为LLM-Pruner的方法，在保持多任务求解和语言生成能力的同时，通过结构修剪来压缩LLM，使得压缩模型在零样本分类和生成上仍然表现出令人满意的能力，并且只需要50K数据，在3小时内就能通过调整技术（LoRA）有效地恢复性能。

    May, 2023

  • 大型语言模型的简单有效剪枝方法

    本文介绍了一种名为Wanda的裁剪方法，旨在在无需微调或权重更新的情况下诱导预训练LLMs的稀疏性，并在LLaMA上进行全面评估，实验证明Wanda在各种语言基准测试中显著优于基线剪枝方案，并与涉及大量权重更新的最近方法竞争优势。

    Jun, 2023

  • Compresso: 结构化剪枝与合作促使学习紧凑的大型语言模型

    通过合作的剪枝算法和大型语言模型自身，在数据收集和训练成本昂贵的挑战下，Compresso通过在训练过程中学习最优的剪枝决策以及引入协同提示进一步增强了剪枝算法，成功将LLaMA-7B剪枝至5.4B，并在阅读理解上超过LLaMA-7B2.62%，在共同推理、阅读理解、MMLU和BBH基准测试上分别获得了2.21%、11.43%、7.04%和4.81%的更高分数，明显优于一次性剪枝基线。

    Oct, 2023

  • 超越大小：梯度如何塑造大型语言模型的剪枝决策

    预训练的大型语言模型的梯度为基础的模型修剪器（GBLM-Pruner）通过利用卡尔曼几何中的几何相互关联性明显胜过其他竞争对手，并在各种语言评估中超过了幅度修剪、Wanda和SparseGPT。

    Nov, 2023

  • 基于波动的自适应结构修剪大型语言模型

    通过提出一种新颖的名为FLAP（基于波动的自适应结构修剪）的网络学习模型无需再训练就能进行结构修剪的框架，可以有效减少存储和提高推理速度，大大优于现有的基于结构修剪的方法，同时通过制定结构重要性度量，自适应搜索全局压缩模型，并实施补偿机制来缓解性能损失。

    Dec, 2023

  • BESA：使用块级参数高效稀疏分配对大型语言模型进行剪枝

    本论文提出了一种名为BESA的新颖大型语言模型修剪技术，通过施加分块重构损失来减少整体修剪误差并以可微分方式分配层特定的稀疏性，从而确保修剪后的模型性能降低程度减少，实验结果表明BESA在仅五小时内能够高效地修剪带有70B参数的LLMs，达到了最先进的性能水平。

    Feb, 2024

  • 大规模语言模型的优化结构裁剪方法

    基于优化的结构剪枝方法通过在概率空间中学习剪枝掩码，通过前向传递和策略梯度估计器进行高效优化，实现对大型语言模型的剪枝，并在复杂性和效果方面超越现有方法。

    Jun, 2024

  • BlockPruner：大型语言模型的细粒度剪枝

    我们提出了一种名为BlockPruner的新型无需训练的结构化修剪方法，通过定位多头注意力和多层感知机块中的冗余实现更精细的修剪，实验证明，与现有方法相比，BlockPruner在各种下游任务中实现了更精确和有效的修剪。

    Jun, 2024

  • MINI-LLM: 大语言模型的内存高效的结构化剪枝

    本文提出了一种Memory-effIcieNt结构化剪枝方法(MINI-LLM)，通过整合大小、激活和梯度等多个指标，利用特征图敏感性进行剪枝，从而有效地降低了GPU内存的占用，并在多个下游任务上展现了优异的性能。

    Jul, 2024