介绍了一种有效的基于鉴别力的通道剪枝方法,利用额外的损失函数增加中间层的鉴别力并根据重构误差和额外损失函数选择最具鉴别力的通道,并提出了一种迭代贪心算法来优化参数和通道选择。对类似于 ILSVRC-12 的测试数据,使用该算法对 ResNet-50 剪枝显示出相当有效的性能。
Oct, 2018
本文探讨了基于随机或基于度量的通道剪枝策略以及使用强化学习寻找可转移的层面剪枝策略,结果表明后者能够将剪枝策略应用于新数据集并获得压缩的同时保持精度。
Apr, 2020
本论文提出了一种新的分层通道剪枝方法 CPLI,它考虑了分类损失和特征重要性,并进一步改进了现有的方法,通过新策略抑制不重要特征的影响,并在三种基准数据集(CIFAR-10,ImageNet 和 UCF-101)上取得了显著的效果。
Mar, 2020
本文提出了一种简单而有效的基于数据驱动优化的频道修剪方法,该方法通过每层发现必要的宽度,以非均匀修剪 ResNet-50 等深度神经网络,实现了与现有方法相同的 FLOP 降低率,同时提高了 0.98%的准确度,并优于其他深度神经网络如 ResNet-34 和 ResNet-18。
May, 2020
该研究介绍了一种简单而有效的方法(称为 DCP),旨在尽可能地选择实际有助于卷积神经网络判别能力的通道,并进一步通过去除多余的内核来压缩深层网络,同时通过自适应停止条件来防止选择冗余的通道 / 内核并实现更好的性能。
Jan, 2020
本文提出了一种基于遗传算法的新型通道剪枝方法,通过分层和知识蒸馏框架的剪枝中,显著降低了模型的冗余,并在三个基准数据集上验证其性能。
May, 2018
本文提出一种基于通道修剪的卷积神经网络加速算法,该算法通过端到端随机训练和修剪常量通道的方法得到压缩模型,并在多个图像识别任务上验证了其竞争性能。
Feb, 2018
本文提出了一种通道剪枝的方法,可以应用于各种复杂的结构,包括具有耦合通道的结构,在各种主干网络上进行了大量的实验,证明该方法可以有效地提高推断速度而不影响准确性。同时纳入了 GPU 推断速度关联性比 FLOPs 更高的记忆占用量的考量。
Aug, 2021
该研究采用随机搜索算法确定裁剪神经网络中通道的配置,比较各种方法的表现,结果发现在这种设置下没有明显的优胜者,这倾向于深入研究通道配置搜索方法。
May, 2022
本文提出了一种新的通道剪枝方法,能够加速非常深的卷积神经网络,通过基于 LASSO 回归的通道选择和最小二乘重构的迭代两步算法有效地修剪每一层,进一步推广到多层和多分支情况,剪枝后的 VGG-16 实现了 5 倍速度提升和仅 0.3%误差增加的最新成果,更重要的是,本方法能够加速现代网络,例如 ResNet,Xception,分别在 2 倍加速下只有 1.4%,1.0%的准确度损失,代码已公开出售。
Jul, 2017