ICMLJul, 2023

UPSCALE: 无约束通道剪枝

PDF
TL;DR神经网络规模和复杂性增加时，推理速度下降。通道剪枝是一种最有效的压缩技术之一，它从权重中删除通道。然而，在模型的多分支部分，通道的删除可能会引入推理时的内存复制。为了解决这个问题，我们提出了一种新的算法 UPSCALE，通过重新排序通道以减少内存复制和去除约束来提高模型性能。该算法在后训练剪枝模型的 ImageNet 准确性上平均提高 2.1 个百分点，并且可提高高出基线导出的推理速度多达 2 倍。
neural networkschannel pruninginference latencyconstraintsalgorithm upscale
发现论文，激发创造
  • 多维剪枝：带时延约束的通道、层和块剪枝

    提出了一种新的多维修剪框架，可以同时优化通道、层和块的修剪，并满足延迟约束，通过将修剪重新构建为混合整数非线性规划 (MINLP)，能够高效地确定最佳修剪结构。该方法在大规模修剪比例下取得了显著的改进。

    Jun, 2024

  • 深度网络的多损失感知通道剪枝

    本文提出了一种新的通道剪枝方法，通过使用基线模型的中间输出和剪枝模型的分类损失来监督分层通道选择，并通过考虑重建误差、附加损失和分类损失来显著提高剪枝模型的性能。

    Feb, 2019

  • 开箱即用的通道裁剪网络

    本文探讨了基于随机或基于度量的通道剪枝策略以及使用强化学习寻找可转移的层面剪枝策略，结果表明后者能够将剪枝策略应用于新数据集并获得压缩的同时保持精度。

    Apr, 2020

  • 面向嵌入式 GPU 的性能感知卷积神经网络通道剪枝

    本研究旨在通过对卷积神经网络的通道剪枝方法进行优化，以提高在移动和嵌入式设备上的计算效率，虽然有些情况下通道剪枝算法可能会损害计算性能，但是我们还是发现采用基于性能的剪枝会达到预期的效果。

    Feb, 2020

  • UPDP: 一个用于 CNN 和 Vision Transformer 的统一渐进深度修剪器

    我们提出了一种新的深度修剪方法，通过引入新颖的块修剪策略和渐进训练方法，以及将修剪方法扩展到视觉转换器模型，实验证明我们的方法在各种修剪配置下始终优于现有的深度修剪方法。

    Jan, 2024

  • 重新思考卷积层通道剪枝中的小范数低信息量假设

    本文提出一种基于通道修剪的卷积神经网络加速算法，该算法通过端到端随机训练和修剪常量通道的方法得到压缩模型，并在多个图像识别任务上验证了其竞争性能。

    Feb, 2018

  • 实用网络压缩的群组 Fisher 剪枝

    本文提出了一种通道剪枝的方法，可以应用于各种复杂的结构，包括具有耦合通道的结构，在各种主干网络上进行了大量的实验，证明该方法可以有效地提高推断速度而不影响准确性。同时纳入了 GPU 推断速度关联性比 FLOPs 更高的记忆占用量的考量。

    Aug, 2021

  • PruneNet: 全局重要性通道剪枝

    本文提出了一种简单而有效的基于数据驱动优化的频道修剪方法，该方法通过每层发现必要的宽度，以非均匀修剪 ResNet-50 等深度神经网络，实现了与现有方法相同的 FLOP 降低率，同时提高了 0.98％的准确度，并优于其他深度神经网络如 ResNet-34 和 ResNet-18。

    May, 2020

  • 用于加速非常深的神经网络的通道修剪

    本文提出了一种新的通道剪枝方法，能够加速非常深的卷积神经网络，通过基于 LASSO 回归的通道选择和最小二乘重构的迭代两步算法有效地修剪每一层，进一步推广到多层和多分支情况，剪枝后的 VGG-16 实现了 5 倍速度提升和仅 0.3％误差增加的最新成果，更重要的是，本方法能够加速现代网络，例如 ResNet，Xception，分别在 2 倍加速下只有 1.4％，1.0％的准确度损失，代码已公开出售。

    Jul, 2017

  • 深度神经网络的鉴别感知通道剪枝

    介绍了一种有效的基于鉴别力的通道剪枝方法，利用额外的损失函数增加中间层的鉴别力并根据重构误差和额外损失函数选择最具鉴别力的通道，并提出了一种迭代贪心算法来优化参数和通道选择。对类似于 ILSVRC-12 的测试数据，使用该算法对 ResNet-50 剪枝显示出相当有效的性能。

    Oct, 2018