超越大小：梯度如何塑造大型语言模型的剪枝决策

Nov, 2023

超越大小：梯度如何塑造大型语言模型的剪枝决策

Beyond Size: How Gradients Shape Pruning Decisions in Large Language Models

Rocktim Jyoti Das, Liqun Ma, Zhiqiang Shen

TL;DR预训练的大型语言模型的梯度为基础的模型修剪器（GBLM-Pruner）通过利用卡尔曼几何中的几何相互关联性明显胜过其他竞争对手，并在各种语言评估中超过了幅度修剪、Wanda 和 SparseGPT。

Abstract

large language models (LLMs) with a billion or more parameters are prime targets for network pruning, which aims to reduce a portion of the network weights without compromising performance. Prior approaches such

large language models network pruning sparsity-centric pruning pretrained llms gradient-based language model pruner

发现论文，激发创造

大型语言模型的简单有效剪枝方法

本文介绍了一种名为 Wanda 的裁剪方法，旨在在无需微调或权重更新的情况下诱导预训练 LLMs 的稀疏性，并在 LLaMA 上进行全面评估，实验证明 Wanda 在各种语言基准测试中显著优于基线剪枝方案，并与涉及大量权重更新的最近方法竞争优势。

Jun, 2023

大规模语言模型的优化结构裁剪方法

基于优化的结构剪枝方法通过在概率空间中学习剪枝掩码，通过前向传递和策略梯度估计器进行高效优化，实现对大型语言模型的剪枝，并在复杂性和效果方面超越现有方法。

Jun, 2024

基于梯度自由的自适应全局修剪预训练语言模型

通过重新定义全局修剪过程为可管理的、协调的子问题，并利用辅助变量进行问题分解，AdaGP 框架在 LLMs 上展示了重要的性能提升，特别是在高稀疏度范围内超越了当前最先进的方法。

Feb, 2024

MoreauPruner：针对权重扰动的大型语言模型稳健修剪

在大型语言模型中，考虑到模型权重的扰动效应，我们通过优化分析和 Moreau 包络来提出了一种名为 MoreauPruner 的结构剪枝方法，能够稳定地对模型进行剪枝，并成功地与其他几种剪枝方法进行了比较。

Jun, 2024

大型语言模型的一次性敏感度感知混合稀疏剪枝

通过基于 Hessian 灵敏度感知的混合稀疏剪枝方法，我们提出了一种剪枝 LLMs 的方法，以至少达到 50% 的稀疏度，而不需要任何重新训练，该方法适应性地分配稀疏度，减少了剪枝引起的错误，同时保持了整体稀疏度水平，并且在稀疏度极高时表现出更显著的优势，此外，我们的方法与量化兼容，从而进一步压缩 LLMs。

Oct, 2023

大规模语言模型的结构剪枝 ——LLM-Pruner

提出一种名为 LLM-Pruner 的方法，在保持多任务求解和语言生成能力的同时，通过结构修剪来压缩 LLM，使得压缩模型在零样本分类和生成上仍然表现出令人满意的能力，并且只需要 50K 数据，在 3 小时内就能通过调整技术（LoRA）有效地恢复性能。

May, 2023

无梯度结构剪枝与未标记数据

本文提出一种基于无标签数据的梯度无关结构裁剪框架，能够在不降低准确度的情况下，显著地减少预训练模型的计算成本，从而提高大型语言模型的推理效率。

Mar, 2023

大型语言模型的结构裁剪

该研究通过结构化剪枝方法，以低秩分解参数化权重矩阵并在训练过程中自适应地移除秩 1 分量，提高了大型语言模型的压缩效果和训练 / 推理速度，并展示了该方法可应用于 BERT 模型的下游 fine-tuning 分类。

Oct, 2019

BlockPruner：大型语言模型的细粒度剪枝

我们提出了一种名为 BlockPruner 的新型无需训练的结构化修剪方法，通过定位多头注意力和多层感知机块中的冗余实现更精细的修剪，实验证明，与现有方法相比，BlockPruner 在各种下游任务中实现了更精确和有效的修剪。

Jun, 2024

大型语言模型修剪

本研究提出了一种针对 LLMs 的模型修剪技术，强调深度学习模型的可解释性，并通过互信息估计和调参来指导修剪过程。同时，还探讨了大规模模型和小规模模型的修剪差异，并展示了所提出模型相对于现有模型的优越性。

May, 2024