Jun, 2024

PruningBench: 结构剪枝全面基准

PDF
TL;DR结构修剪已成为生成更高效模型的一种有前景的方法。然而，由于缺乏标准化的基准和度量标准，该领域的进展尚不完全理解。为了填补这一空白，我们提出了第一个全面的基准测试，称为 PruningBench，用于结构修剪。PruningBench 具有以下三个特点：1）PruningBench 采用一个统一和一致的框架，评估各种结构修剪技术的有效性；2）PruningBench 系统地评估了 16 种现有的修剪方法，涵盖了各种模型（如 CNN 和 ViTs）和任务（如分类和检测）；3）PruningBench 提供了易于实现的接口，以促进未来修剪方法的实施，并使后续的研究人员将他们的工作纳入我们的排行榜。我们提供了一个在线修剪平台，用于定制修剪任务并重现本文中的所有结果。代码将公开发布。
structural pruningbenchmarkmetricspruning methodsleaderboards
发现论文，激发创造
  • 神经网络剪枝的现状是什么？

    对神经网络修剪技术的元分析表明当前存在缺乏标准基准和度量标准的不足，该研究提出了 ShrinkBench 框架，用于规范评估修剪方法，以消除修剪技术比较中的常见问题。

    Mar, 2020

  • 多任务深度神经网络的结构剪枝

    本文研究了定结构剪枝在多任务深度神经网络模型中的有效性。通过使用基于现有单任务筛选剪枝标准和基于多任务学习筛选剪枝标准，采用迭代剪枝策略进行剪枝，本文表明在参数数目相似的情况下，与快速单任务 DNN 相比，DNN 多任务可以通过精心的超参数调整实现相似的性能，迭代权重剪枝可能不是实现良好性能剪裁模型的最好方式。

    Apr, 2023

  • 深度神经网络剪枝调查 —— 分类、比较、分析和建议

    现代深度神经网络中，网络压缩已成为一项重要研究方向。本文通过综述现有文献，详细介绍了深度神经网络剪枝的研究方法、剪枝的不同层次以及未来发展方向，并提出了有价值的推荐建议。

    Aug, 2023

  • 探究多语言预训练模型的结构剪枝：设置、算法和效率

    本研究评估了基于结构化剪枝在多语言预训练语言模型上的三个方面：设置、算法和效率，并通过在九个下游任务中的实验展示了一些反直觉现象。为了方便各个稀疏度水平上的比较，我们提出了一种简单的方法 —— 动态稀疏化，它可以让模型只需要训练一次就能适应不同的模型大小。我们希望这项工作填补了关于多语言预训练模型上的结构化剪枝研究的空白，并为未来的研究提供启示。

    Apr, 2022

  • 基于张量处理器的卷积网络结构模型剪枝

    本研究使用 VGG-16 模型作为示例，测量了各种结构模型修剪方法和数据集（CIFAR-10 和 ImageNet）在 Tensor Processing Units（TPUs）上的准确性和效率之间的权衡，使用 TensorFlow2 开发了一个结构模型修剪库以在 TPUs 上显着提高模型内存使用和速度而不失准确性，这尤其适用于较小的数据集（如 CIFAR-10）。

    Jul, 2021

  • 计算病理学中的结构模型修剪以提高推理效率

    采用模型剪枝技术在生物医学成像中有效减少推理成本，至少能压缩 70% 的模型大小而性能几乎不下降。

    Apr, 2024

  • 重新思考网络剪枝的价值

    本研究发现，在针对低资源设置中减少深度模型推理成本的网络修剪过程中，训练大模型通常不是获得高效终端模型的必要条件，学到的 “重要” 权重通常对小模型没有用，修剪的架构本身比继承的 “重要” 权重更重要，并且此方法可作为架构搜索范式。本文还比较了 “Lottery Ticket Hypothesis”，发现在最佳学习率下，与随机初始化相比，其 “获胜券” 初始化并未带来提高。

    Oct, 2018

  • 大规模语言模型的优化结构裁剪方法

    基于优化的结构剪枝方法通过在概率空间中学习剪枝掩码，通过前向传递和策略梯度估计器进行高效优化，实现对大型语言模型的剪枝，并在复杂性和效果方面超越现有方法。

    Jun, 2024

  • 每个人都剪枝：只使用前向传播的 LLM 结构剪枝

    利用仅使用前向传递的方法进行结构裁剪，我们开发了 Bonsai，一种无梯度、扰动性的裁剪方法，能够生成小型、快速、准确的模型，超越梯度裁剪方法和半结构裁剪方法的性能且节约资源。

    Feb, 2024

  • 结构剪枝：任何架构，任何框架，任何时间

    结构化修剪技术 (SPA) 是一种适用于不同架构、框架和修剪标准的多功能架构修剪框架，通过使用标准化计算图和 ONNX 表示法来实现对神经网络的修剪，并通过分组级别的重要性估计方法来进行修剪。在对比实验中，SPA 在不同架构、流行框架和不同修剪时间上表现出与现有技术相当的修剪性能。OBSPA 是一种无需微调或校准数据即可实现最先进的修剪结果的算法。

    Mar, 2024