基于分类损失和特征重要性的通道剪枝指导

AAAIMar, 2020

Channel Pruning Guided by Classification Loss and Feature Importance

Jinyang Guo, Wanli Ouyang, Dong Xu

TL;DR本论文提出了一种新的分层通道剪枝方法 CPLI，它考虑了分类损失和特征重要性，并进一步改进了现有的方法，通过新策略抑制不重要特征的影响，并在三种基准数据集（CIFAR-10，ImageNet 和 UCF-101）上取得了显著的效果。

Abstract

In this work, we propose a new layer-by-layer channel pruning method called channel pruning guided by classification loss and

发现论文，激发创造

本文提出了一种新的通道剪枝方法，通过使用基线模型的中间输出和剪枝模型的分类损失来监督分层通道选择，并通过考虑重建误差、附加损失和分类损失来显著提高剪枝模型的性能。

Feb, 2019

介绍了一种有效的基于鉴别力的通道剪枝方法，利用额外的损失函数增加中间层的鉴别力并根据重构误差和额外损失函数选择最具鉴别力的通道，并提出了一种迭代贪心算法来优化参数和通道选择。对类似于 ILSVRC-12 的测试数据，使用该算法对 ResNet-50 剪枝显示出相当有效的性能。

Oct, 2018

本文提出了一种简单而有效的基于数据驱动优化的频道修剪方法，该方法通过每层发现必要的宽度，以非均匀修剪 ResNet-50 等深度神经网络，实现了与现有方法相同的 FLOP 降低率，同时提高了 0.98％的准确度，并优于其他深度神经网络如 ResNet-34 和 ResNet-18。

May, 2020

本文探讨了基于随机或基于度量的通道剪枝策略以及使用强化学习寻找可转移的层面剪枝策略，结果表明后者能够将剪枝策略应用于新数据集并获得压缩的同时保持精度。

Apr, 2020

本文提出一种基于通道修剪的卷积神经网络加速算法，该算法通过端到端随机训练和修剪常量通道的方法得到压缩模型，并在多个图像识别任务上验证了其竞争性能。

Feb, 2018

本文提出了一种通道剪枝的方法，可以应用于各种复杂的结构，包括具有耦合通道的结构，在各种主干网络上进行了大量的实验，证明该方法可以有效地提高推断速度而不影响准确性。同时纳入了 GPU 推断速度关联性比 FLOPs 更高的记忆占用量的考量。

Aug, 2021

本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

May, 2018

本文从跨通道的角度出发，提出了一种基于通道独立度的高效的滤波器剪枝方法，该方法通过减少含有较少有用信息的特征图的数量，从而减小了模型容量，提高了模型的计算和存储效率。实验结果表明，在不影响精度的情况下，该方法可以显著地减小模型大小和 FLOPs 并提高分类精度。

Oct, 2021

本文提出一种基于梯度流的模型修剪方法，综合考虑 BN 和 ReLU 层后的卷积操作对整个特征映射的影响，采用 BN 层中的一阶泰勒多项式标识神经元的重要程度，该方法在图像分类和去噪任务上取得了良好的性能表现。

Oct, 2021

该研究介绍了一种简单而有效的方法（称为 DCP），旨在尽可能地选择实际有助于卷积神经网络判别能力的通道，并进一步通过去除多余的内核来压缩深层网络，同时通过自适应停止条件来防止选择冗余的通道 / 内核并实现更好的性能。

Jan, 2020