Mar, 2024

ShortGPT: 大型语言模型中的层次关系比您预期的更冗余

PDF
TL;DR大型语言模型的层之间存在高相似性，某些层对网络功能没有显著作用，因此提出了一种基于层重要性评分的剪枝方法，并且该方法在模型剪枝方面明显优于先前的最新方法，同时与量化等方法相互独立，能进一步减小参数和计算量。
large language modelsblock influencelayer removalshortgptmodel pruning
发现论文，激发创造
  • FoldGPT：简单高效的大型语言模型压缩方案

    通过对不同层次的大语言模型进行研究，本文发现多数层次的输出存在显著的相似性，并且随着模型规模的增加，这种相似性更加明显。基于这种观察，我们提出了一种高效的模型体积压缩策略，称为 FoldGPT，该策略通过块删除和块参数共享来实现模型轻量化。实验证明，FoldGPT 在高效模型压缩方面优于先前的最新方法，证明通过简单的块删除和参数共享实现模型轻量化是可行的。

    Jul, 2024

  • BlockPruner：大型语言模型的细粒度剪枝

    我们提出了一种名为 BlockPruner 的新型无需训练的结构化修剪方法，通过定位多头注意力和多层感知机块中的冗余实现更精细的修剪，实验证明，与现有方法相比，BlockPruner 在各种下游任务中实现了更精确和有效的修剪。

    Jun, 2024

  • 深层网络的不合理无效性

    通过对热门的开放式权重预训练 LLMs 进行实证研究，我们发现在移除大部分（最多一半）层之前，其在不同的问答基准测试中仅出现轻微性能下降；因此，层剪枝方法可以在减少计算资源的同时提高推理的内存和延迟，并暗示当前的预训练方法未充分利用网络较深层的参数，或者浅层起到了关键的存储知识的作用。

    Mar, 2024

  • 為什麼举得那麼重？通过削减层数减轻大型语言模型

    通过减少层数，可以缩小大型语言模型的规模，而仍能保持或提升其在文本分类任务中的性能水平。

    Feb, 2024

  • 优化大型语言模型的压缩方法

    基于层序之差异，我们提出了 LLM-Streamline 方法，该方法通过对模型中不重要的层进行剪枝和轻量级模型的替代训练，以减轻剪枝所引起的性能下降，并在综合实验中展示了其优于现有模型剪枝方法的效果。

    Mar, 2024

  • 超越大小：梯度如何塑造大型语言模型的剪枝决策

    预训练的大型语言模型的梯度为基础的模型修剪器（GBLM-Pruner）通过利用卡尔曼几何中的几何相互关联性明显胜过其他竞争对手，并在各种语言评估中超过了幅度修剪、Wanda 和 SparseGPT。

    Nov, 2023

  • Transformer 模型中的关键要素：并非所有的注意力都是必要的

    通过使用基于相似性的度量标准，本文研究了 Transformer 中不同模块（如 Blocks、MLP 和 Attention 层）之间的冗余性变化，发现一大部分 Attention 层可以被安全剪枝，从而降低内存和计算成本，并提出了一种同时舍弃 Attention 和 MLP 层的方法，进一步提升性能和降低比率。

    Jun, 2024

  • LaCo：大型语言模型通过层坍缩进行修剪

    提出了一种被称为 extit {Layer Collapse (LaCo)} 的简洁的逐层修剪方法，将后置模型层折叠到先前层，实现了模型大小的快速减小而同时保留了模型结构；全面的实验表明，该方法在修剪比例为 25-30% 时保持了超过 80% 的平均任务性能，显著优于现有最先进的结构修剪方法；还进行了后训练实验证实所提出的修剪方法有效继承了原始模型的参数，并从逐层相似性的角度讨论了提出该方法的动机，评估了修剪的大型语言模型在各种修剪比例下的性能。

    Feb, 2024

  • LLaMA 简化： 大型语言模型的简单深度修剪

    通过深度剪枝方法，我们展示出其在零样本任务性能方面可以与最近的宽度剪枝方法竞争，并且在内存受限情况下的推理速度提升尤为明显，希望这项工作能够帮助在本地和边缘设备上部署大型语言模型。

    Feb, 2024

  • SliceGPT：通过删除行和列来压缩大型语言模型

    SliceGPT 是一种新的后训练稀疏化方法，可以将模型的参数减少 25％，同时保持密集模型的 99％，99％和 90％的性能，并减少内存和计算需求。

    Jan, 2024