ICLRJan, 2024

SliceGPT：通过删除行和列来压缩大型语言模型

PDF
TL;DRSliceGPT 是一种新的后训练稀疏化方法，可以将模型的参数减少 25％，同时保持密集模型的 99％，99％和 90％的性能，并减少内存和计算需求。
large language modelssparsificationslicegptmodel parameterscomputational invariance
发现论文，激发创造
  • SparseGPT：一次修剪即可在大型语言模型上进行精准压缩

    本文提出了一种名为 SparseGPT 的新型剪枝方法，能够高效、准确地应用于海量的 GPT 模型，实现一次性稀疏化至少 50％，并在几乎不影响困惑度的情况下，将最大可用的开源模型 OPT-175B 和 BLOOM-176B 稀疏化至 60％。

    Jan, 2023

  • FoldGPT：简单高效的大型语言模型压缩方案

    通过对不同层次的大语言模型进行研究，本文发现多数层次的输出存在显著的相似性，并且随着模型规模的增加，这种相似性更加明显。基于这种观察，我们提出了一种高效的模型体积压缩策略，称为 FoldGPT，该策略通过块删除和块参数共享来实现模型轻量化。实验证明，FoldGPT 在高效模型压缩方面优于先前的最新方法，证明通过简单的块删除和参数共享实现模型轻量化是可行的。

    Jul, 2024

  • LLM 外科医生

    通过数据驱动的预训练模型压缩方法，我们可以在不牺牲性能的情况下，对大型语言模型进行剪枝，减小模型的规模。

    Dec, 2023

  • 大型语言模型的一次性敏感度感知混合稀疏剪枝

    通过基于 Hessian 灵敏度感知的混合稀疏剪枝方法，我们提出了一种剪枝 LLMs 的方法，以至少达到 50% 的稀疏度，而不需要任何重新训练，该方法适应性地分配稀疏度，减少了剪枝引起的错误，同时保持了整体稀疏度水平，并且在稀疏度极高时表现出更显著的优势，此外，我们的方法与量化兼容，从而进一步压缩 LLMs。

    Oct, 2023

  • 探索图转换中的稀疏性

    研究论文简介：为解决图形变换器（GTs）的高计算成本问题，在现有 GT 模型特征的基础上探索了图形变换器稀疏化的可行性，并提出了一个能够减少 GTs 计算复杂度的综合框架（GTSP），通过实验验证该框架能有效降低计算成本，同时在精度上只有微弱的降低或甚至有所提升。

    Dec, 2023

  • 大型语言模型的结构裁剪

    该研究通过结构化剪枝方法，以低秩分解参数化权重矩阵并在训练过程中自适应地移除秩 1 分量，提高了大型语言模型的压缩效果和训练 / 推理速度，并展示了该方法可应用于 BERT 模型的下游 fine-tuning 分类。

    Oct, 2019

  • SPP：稀疏保存的参数高效微调大型语言模型

    介绍了一种基于稀疏保持参数高效微调的方法，通过轻量级可学习的列和行矩阵对稀疏大语言模型的权重进行优化，保持修剪过的预训练模型的结构和稀疏性，显著提升了稀疏大语言模型的性能。

    May, 2024

  • ShortGPT: 大型语言模型中的层次关系比您预期的更冗余

    大型语言模型的层之间存在高相似性，某些层对网络功能没有显著作用，因此提出了一种基于层重要性评分的剪枝方法，并且该方法在模型剪枝方面明显优于先前的最新方法，同时与量化等方法相互独立，能进一步减小参数和计算量。

    Mar, 2024

  • 高稀疏性基础 Llama 模型的高效预训练和部署

    通过稀疏性，我们能够以较小的模型实现更快的训练和推理加速，并且不牺牲准确性。

    May, 2024

  • 利用稀疏性和数据流高效训练大型语言模型

    本论文演示了一种使用稀疏性和数据流的端到端训练流程，用于对一个大型语言模型（13 亿 GPT）进行高效训练，能够成功训练出与稠密模型相同质量的结果，并获得 4.5 倍于基线的端到端加速。

    Apr, 2023