ICMLJun, 2024

Pruner-Zero: 大规模语言模型的从零开始的演化符号修剪度量

PDF
TL;DR大型语言模型（LLMs）由于其庞大的规模而面临部署挑战。修剪方法通过去除权重的子集来加速，但其中许多需要重新训练，这是昂贵且计算需求高的。最近，提出了后训练修剪方法引入了新的度量标准，使得可以无需重新训练就能进行 LLMs 的修剪。然而，这些度量标准需要人工专家的参与和繁琐的试错。为了高效地确定优越的修剪度量标准，我们开发了一个自动框架来使用遗传编程搜索符号修剪度量标准。具体来说，我们设计了一个细致的搜索空间，涵盖现有的修剪度量标准，以发现潜在的符号修剪度量标准。我们提出了一种对立运算简化策略，以增加种群的多样性。通过这种方式，Pruner-Zero 允许自动生成符号修剪度量标准。基于搜索结果，我们探索了修剪度量标准与修剪后性能之间的相关性，并总结了一些原则。在语言建模和零样本任务的 LLaMA 和 LLaMA-2 上的大量实验表明，我们的 Pruner-Zero 的性能优于 SOTA 的后训练修剪方法。代码地址：https://github.com/pprp/Pruner-Zero。
large language modelspruning methodssymbolic pruning metricscorrelation between pruning metrics and performancepruner-zero
发现论文，激发创造
  • 大规模语言模型的结构剪枝 ——LLM-Pruner

    提出一种名为 LLM-Pruner 的方法，在保持多任务求解和语言生成能力的同时，通过结构修剪来压缩 LLM，使得压缩模型在零样本分类和生成上仍然表现出令人满意的能力，并且只需要 50K 数据，在 3 小时内就能通过调整技术（LoRA）有效地恢复性能。

    May, 2023

  • 预训练神经网络剪枝的对齐权重正则化器

    本论文研究了迭代剪枝在零样本测试性能上的影响，特别是对跨语言模型的影响，提出了两种权重正则化方法以缓解剪枝引起的跨语言性畸变，并实现了良好的性能表现。同时，这也是关注跨语言语言模型压缩的首个研究。

    Apr, 2022

  • 大规模语言模型的优化结构裁剪方法

    基于优化的结构剪枝方法通过在概率空间中学习剪枝掩码，通过前向传递和策略梯度估计器进行高效优化，实现对大型语言模型的剪枝，并在复杂性和效果方面超越现有方法。

    Jun, 2024

  • Zero-TPrune：基于预训练 Transformer 的注意力图优化进行零样本 Token 裁剪

    本文提出了首个零 - shot 的方法 Zero-TPrune，通过使用预先训练的 Transformer 模型的 attention 图来计算 token 的重要性和相似性，在保持高精度的前提下，大幅减少了模型的计算复杂度和推理时间。

    May, 2023

  • ALPS：面向大型语言模型的高度稀疏一次性修剪的改进优化

    本文介绍了一种名为 ALPS 的基于优化的框架，用于通过操作拆分技术和预条件共轭梯度后处理步骤处理修剪问题，并结合向量化和 GPU 并行性以提高效率，在修剪目标和困惑度降低方面远远超过现有方法，特别是对于高度稀疏的模型。在 OPT-30B 模型上，其稀疏度为 70％，ALPS 在 WikiText 数据集上实现了 13％的测试困惑度减少和比现有方法提高了 19％的零样本基准性能。

    Jun, 2024

  • MoreauPruner：针对权重扰动的大型语言模型稳健修剪

    在大型语言模型中，考虑到模型权重的扰动效应，我们通过优化分析和 Moreau 包络来提出了一种名为 MoreauPruner 的结构剪枝方法，能够稳定地对模型进行剪枝，并成功地与其他几种剪枝方法进行了比较。

    Jun, 2024

  • 超越大小：梯度如何塑造大型语言模型的剪枝决策

    预训练的大型语言模型的梯度为基础的模型修剪器（GBLM-Pruner）通过利用卡尔曼几何中的几何相互关联性明显胜过其他竞争对手，并在各种语言评估中超过了幅度修剪、Wanda 和 SparseGPT。

    Nov, 2023

  • 领域特定的 LLM 提取器剪枝

    通过识别关键权重，提出了一种创新的针对特定领域的压缩方法 D-Pruner，通过提取关键权重，实现 Compressed, domain-specific 和 task-agnostic 的 LLM，具有广泛适用性和特定性。

    May, 2024

  • 神经语言模型修剪用于自动语音识别

    我们研究了应用于基于 Transformer 的语音识别神经网络语言模型的模型修剪方法。我们探究了修剪框架的三个方面，即准则、方法和调度器，分析了它们在准确性和推理速度方面的贡献。除此之外，我们提出了一种适用于渐进式压缩模型、并可以交付多个具有不同目标尺寸的模型的低秩逼近的变体。我们的研究结果包括：a）在多种场景中，数据驱动的修剪效果优于基于幅度的修剪；b）渐进式修剪相比一次性修剪在准确性方面有更好的表现，特别是在目标尺寸较小时；c）对于中等压缩程度，低秩逼近提供了尺寸减小和推理加速之间的最佳平衡。

    Oct, 2023

  • 使用原则重要性和自我正则化剪枝预训练语言模型

    本研究提出了一种基于等式约束的 0-1 整数线性规划问题和自我正则化机制的迭代模型修剪方法，应用于各种基于 Transformer 的 PLMs，使得在高稀疏度时具有更好的泛化性能。

    May, 2023