Oct, 2022

GMP*：精心调整的逐步量化剪枝可优于绝大多数 BERT 剪枝方法

PDF
TL;DR本文重新考察了经典的逐渐减少幅度修剪（GMP）算法在大型语言模型，特别是 BERT 基准测试上的表现，发现一个简单通用的变量 GMP * 可以与更复杂的最新方法匹配或甚至超过其表现，结果为未来工作提供了简单但强大的基线。
gradual magnitude pruninglarge language modelsbert benchmarkparameter tuningstate-of-the-art pruning methods
发现论文，激发创造
  • 超越大小：梯度如何塑造大型语言模型的剪枝决策

    预训练的大型语言模型的梯度为基础的模型修剪器（GBLM-Pruner）通过利用卡尔曼几何中的几何相互关联性明显胜过其他竞争对手，并在各种语言评估中超过了幅度修剪、Wanda 和 SparseGPT。

    Nov, 2023

  • 图卷积网络的一次性多速率剪枝

    我们提出了一种轻量级图卷积网络设计，称为 Multi-Rate Magnitude Pruning (MRMP)，它通过联合训练网络拓扑和权重来对网络进行训练。该方法是变分的，通过将学习网络的权重分布与先验分布对齐，实现了任何固定的剪枝率的具体操作，并增强了设计的轻量级 GCN 的泛化性能。此外，MRMP 通过共享权重在多个 GCN 之间进行联合训练，以在任何目标剪枝率上外推准确的网络，而无需重新训练它们的权重。对基于骨骼的识别这一具有挑战性的任务进行的大量实验表明，我们的轻量级 GCN 在非常高的剪枝程度下有显著的性能提高。

    Dec, 2023

  • 基于梯度自由的自适应全局修剪预训练语言模型

    通过重新定义全局修剪过程为可管理的、协调的子问题，并利用辅助变量进行问题分解，AdaGP 框架在 LLMs 上展示了重要的性能提升，特别是在高稀疏度范围内超越了当前最先进的方法。

    Feb, 2024

  • 生成式语言模型结构修剪中的关键因素是什么？

    本文采用常见的结构剪枝方法，包括幅值、随机和移动剪枝，并提出了全球独特的移动剪枝技术（GUM）来减少神经元冗余，以提高自动生成的自然语言的性能。

    Feb, 2023

  • 剪枝语言模型：重现” 稀疏可能扬声器 “基准上的准确性

    在 BERT 模型的剪枝过程中，我们提出了一组成功剪枝的通用指南，包括与目标稀疏度相关的训练、稀疏化和学习率调整调度的简单方法，以及在 LLM 上进行知识蒸馏时适当参数化的重要性，这些简单的洞察力使我们在经典 BERT 剪枝基准和 SMC 基准上取得了最先进的结果，表明即使是经典的渐进磁度剪枝方法也可以以正确的方法得到竞争性的结果。

    Dec, 2023

  • 利用概率形态剪枝进行预算感知的图卷积网络设计

    本文介绍了一种新的轻量级 GCN 设计：概率幅值剪枝 (PMP)，该方法通过联合训练网络拓扑和权重，通过对齐已知先验分布的权重分布来实现任何固定剪枝率，以及增强设计的轻量级 GCN 的泛化性能。在处理基于骨骼的识别任务时，本文进行了大量的实验证明，轻量级 GCN 在非常高的剪枝基准下有显着的性能提升。

    May, 2023

  • PERP: 重新思考 LLM 时代的修剪再训练范式

    通过修剪来高效地压缩神经网络，减少存储和计算需求，同时保持预测性能，我们提出了一种参数高效的修剪后重训练方法，使得修剪和重训练大规模语言模型的任务成为可能。

    Dec, 2023

  • 通过剪枝压缩神经机器翻译模型

    本文探讨了三种基于大小的剪枝模式对 NMT 模型进行压缩，通过实验证明了剪枝技术是一种有效的压缩技术，并且可以通过再训练来恢复或甚至超越原始性能。

    Jun, 2016

  • 运动剪枝：通过微调实现自适应稀疏性

    本文提出一种基于移动修剪的权重修剪方法，相比于纯监督学习中使用的幅度修剪方法，更适用于预训练模型微调，实验证明在高稀疏度下，此方法对预训练语言模型的剪枝效果更好，结合蒸馏技术最大程度地减小模型参数，同时保持模型准确率。

    May, 2020

  • 无需微调的预训练语言模型剪枝

    本研究提出基于一阶信息的 Static Model Pruning 方法，该方法不需要微调即可压缩 Pre-trained Language Models (PLMs)，并在各种稀疏水平下展现出显著的性能优势和更高的参数效率。

    Oct, 2022