May, 2023

基于延迟引导的层自适应结构化剪枝

PDF
TL;DR通过使用延迟协同损失函数来指导网络修剪，我们提出了一个全局重要性评分 SP-LAMP，并利用组背包求解器在延迟约束下最大化 SP-LAMP 得分，取得了优于传统方法的结果，实验结果表明，我们的算法在确保准确性和 FLOPs 的情况下，达到了比替代方法更低的延迟。
structured pruninglatency collaborative loss functionsp-lampfilter groupingresnet
发现论文，激发创造
  • 基于幅度剪枝的层自适应稀疏化

    这篇论文针对神经网络修剪方法提出一种基于重要性分数的全局修剪方法（LAMP），不需要人工调参或加重的计算，使用在图像分类任务上表现出优于现有算法的效果。

    Oct, 2020

  • 硬件感知延迟削减

    通过硬件感知延迟剪枝（HALP）将结构剪枝作为全局资源分配优化问题，同时控制延迟在预定义的预算下最大化准确性。 HALP 使用延迟查找表来跟踪延迟减少潜力，使用全局显着性得分来评估准确度降低，并可以在剪枝期间非常高效地评估这两个指标，使我们能够在目标约束下重构全局结构剪枝问题，从而通过我们的增强型背包求解器解决问题，从而使 HALP 在剪枝效果和准确性效率平衡方面超越以前的工作。

    Oct, 2021

  • 是滤波剪枝，还是层剪枝，这是一个问题

    本文提出了 LayerPrune 框架，相较于传统基于 filter 的剪枝方法，LayerPrune 基于不同的剪枝指标实现了更高的延迟降低，并使用相同的 filter 重要性判定剪枝最不重要的层，较好地平衡了准确率和删除率。

    Jul, 2020

  • 基于自适应激活的结构化剪枝

    本文提出了一种自适应基于激活的结构化裁剪方法，以自动高效地生成满足用户要求的小型、准确和硬件高效的模型，它提出了迭代性结构化裁剪和自适应剪枝策略，可在不降低精度的情况下大幅减少参数和 FLOPs

    Jan, 2022

  • LAPP：基于分层自适应渐进修剪的卷积神经网络压缩算法

    Layer Adaptive Progressive Pruning (LAPP) is a novel framework that introduces a learnable threshold for each layer and FLOPs constraints for network, gradually compressing the network during initial training and automatically determining appropriate pruning rates for each layer.

    Sep, 2023

  • 迭代基于激活的结构化剪枝

    本文针对在边缘设备上部署复杂深度学习模型的挑战，提出了两种基于激活函数的迭代剪枝方法，通过研究结构剪枝与权重剪枝方法的区别，说明结构剪枝会更适合在通用硬件上实现。与权重剪枝相比，这两种方法能更好地压缩模型，并实现更高的准确性。

    Jan, 2022

  • 多维剪枝：带时延约束的通道、层和块剪枝

    提出了一种新的多维修剪框架，可以同时优化通道、层和块的修剪，并满足延迟约束，通过将修剪重新构建为混合整数非线性规划 (MINLP)，能够高效地确定最佳修剪结构。该方法在大规模修剪比例下取得了显著的改进。

    Jun, 2024

  • 基于波动的自适应结构修剪大型语言模型

    通过提出一种新颖的名为 FLAP（基于波动的自适应结构修剪）的网络学习模型无需再训练就能进行结构修剪的框架，可以有效减少存储和提高推理速度，大大优于现有的基于结构修剪的方法，同时通过制定结构重要性度量，自适应搜索全局压缩模型，并实施补偿机制来缓解性能损失。

    Dec, 2023

  • 结构剪枝：任何架构，任何框架，任何时间

    结构化修剪技术 (SPA) 是一种适用于不同架构、框架和修剪标准的多功能架构修剪框架，通过使用标准化计算图和 ONNX 表示法来实现对神经网络的修剪，并通过分组级别的重要性估计方法来进行修剪。在对比实验中，SPA 在不同架构、流行框架和不同修剪时间上表现出与现有技术相当的修剪性能。OBSPA 是一种无需微调或校准数据即可实现最先进的修剪结果的算法。

    Mar, 2024

  • 通过刺激训练增强稀疏化

    基于稀疏化剪枝的研究中，我们提出了一种增强稀疏化范式的结构化剪枝框架 (STP)，通过自蒸馏的方式维持被剪枝权重的大小并增强保留权重的表现力。此外，为了找到最优的剪枝网络架构，我们采用了多维架构空间和知识蒸馏引导的探索策略，同时使用子网变异扩展技术来减小蒸馏的容量差距。大量实验证明了 STP 的有效性，特别是在极度激进的剪枝情况下，例如在 ImageNet 上对 ResNet-50 进行剪枝，保持 95.11% 的 Top-1 准确率（从 76.15% 减少 85% 的浮点操作）。

    Mar, 2024