UPDP: 一个用于 CNN 和 Vision Transformer 的统一渐进深度修剪器

Jan, 2024

UPDP: 一个用于 CNN 和 Vision Transformer 的统一渐进深度修剪器

UPDP: A Unified Progressive Depth Pruner for CNN and Vision Transformer

Ji Liu, Dehua Tang, Yuanxian Huang, Li Zhang, Xiaocheng Zeng...

TL;DR我们提出了一种新的深度修剪方法，通过引入新颖的块修剪策略和渐进训练方法，以及将修剪方法扩展到视觉转换器模型，实验证明我们的方法在各种修剪配置下始终优于现有的深度修剪方法。

Abstract

Traditional channel-wise pruning methods by reducing network channels struggle to effectively prune efficient cnn models with depth-wise convolutional layers and certain efficient modules, such as popular inverte

pruning methods efficient cnn models depth-wise convolutional layers inverted residual blocks vision transformer models

发现论文，激发创造

UPSCALE: 无约束通道剪枝

神经网络规模和复杂性增加时，推理速度下降。通道剪枝是一种最有效的压缩技术之一，它从权重中删除通道。然而，在模型的多分支部分，通道的删除可能会引入推理时的内存复制。为了解决这个问题，我们提出了一种新的算法 UPSCALE，通过重新排序通道以减少内存复制和去除约束来提高模型性能。该算法在后训练剪枝模型的 ImageNet 准确性上平均提高 2.1 个百分点，并且可提高高出基线导出的推理速度多达 2 倍。

Jul, 2023

卷积神经网络的块剪枝提高效率

该论文介绍了一种新的网络剪枝方法，针对边缘计算环境中的深度神经网络中的块剪枝。研究方法采用直接的块移除策略来评估对分类准确性的影响，通过对 CIFAR-10、CIFAR-100 和 ImageNet 数据集以 ResNet 架构进行广泛实验，结果表明该方法在减小模型大小的同时保持高准确性方面的有效性，在网络的大部分被剪枝的情况下，尤其是在 ImageNet 上通过对 ResNet50 的剪枝时，其结果突出了该方法在维持模型大小和性能之间的最佳平衡能力，尤其是在资源有限的边缘计算场景中。

Dec, 2023

深度卷积神经网络的辅助门控结构自动分块剪枝

本文介绍一种基于辅助门控机制的结构化网络剪枝方法，通过给主干网中的块分配重要性标记，并提出了一种块级剪枝的投票策略来解决移动设备上使用卷积神经网络时遇到的成本问题。通过知识蒸馏的三阶段训练计划，提高了模型性能，实现了更好的压缩率。实验证明该方法在分类任务中可以取得最先进的压缩性能。此外，通过提供预训练模型，我们的方法可以与其他剪枝方法协同集成，从而实现比未剪枝模型更优异的性能，并减少了超过 93％的浮点运算。

May, 2022

用于加速非常深的神经网络的通道修剪

本文提出了一种新的通道剪枝方法，能够加速非常深的卷积神经网络，通过基于 LASSO 回归的通道选择和最小二乘重构的迭代两步算法有效地修剪每一层，进一步推广到多层和多分支情况，剪枝后的 VGG-16 实现了 5 倍速度提升和仅 0.3％误差增加的最新成果，更重要的是，本方法能够加速现代网络，例如 ResNet，Xception，分别在 2 倍加速下只有 1.4％，1.0％的准确度损失，代码已公开出售。

Jul, 2017

一种深层神经网络压缩的新型通道修剪方法

本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

May, 2018

深度网络的多损失感知通道剪枝

本文提出了一种新的通道剪枝方法，通过使用基线模型的中间输出和剪枝模型的分类损失来监督分层通道选择，并通过考虑重建误差、附加损失和分类损失来显著提高剪枝模型的性能。

Feb, 2019

PruneNet: 全局重要性通道剪枝

本文提出了一种简单而有效的基于数据驱动优化的频道修剪方法，该方法通过每层发现必要的宽度，以非均匀修剪 ResNet-50 等深度神经网络，实现了与现有方法相同的 FLOP 降低率，同时提高了 0.98％的准确度，并优于其他深度神经网络如 ResNet-34 和 ResNet-18。

May, 2020

设备上快速适应预训练模型的一次性剪枝

基于大规模预训练模型，提出了一种适用于低能力设备的可伸缩单次剪枝方法，利用类似任务的剪枝知识从预训练模型中提取一个子网络来适应新任务，实验证明该方法在处理具有不同内存限制的多样化下游任务时，在准确性和效率方面始终优于流行的剪枝基准方法。

Jul, 2023

裁剪内部层：一种用于高效 U-Net GAN 的结构化剪枝策略

本研究通过分层修剪来压缩过度参数化的 U-Net 生成器，以用于图像到图像的翻译和语音驱动的说话人生成上，并呈现了学习结构化修剪内层的过滤器来提高效率的结果。

Jun, 2022

一种通用的信号调制识别深度学习模型的层剪枝方法

深度学习在通信系统中的成功应用使得深度神经网络成为信号分类的首选方法。然而，这些模型通常具有高计算复杂度和大的模型尺寸，这阻碍了它们在通信系统中的实际部署。为解决这个挑战，我们提出了一种新型的层剪枝方法，通过将模型分解成几个连续的块，每个块包含具有相似语义的连续层，然后根据层的贡献确定每个块内需要保留的层，最后重新组装剪枝后的块并对紧凑模型进行微调。对五个数据集进行的广泛实验证明了我们的方法在各种最新基准方法（包括层剪枝和通道剪枝方法）上的高效性和有效性。

Jun, 2024