神经网络压缩中的随机通道剪枝再探讨
介绍了一种有效的基于鉴别力的通道剪枝方法,利用额外的损失函数增加中间层的鉴别力并根据重构误差和额外损失函数选择最具鉴别力的通道,并提出了一种迭代贪心算法来优化参数和通道选择。对类似于 ILSVRC-12 的测试数据,使用该算法对 ResNet-50 剪枝显示出相当有效的性能。
Oct, 2018
本研究提出了一种基于人工蜂群算法的新型通道剪枝方法,名为 ABCPruner,通过优化每一层的通道数量来寻找最优的剪枝结构,相比于以往的方法,该方法能够有效地减少剪枝结构的组合数量并且更加高效。
Jan, 2020
本文提出了一种新的通道剪枝方法,通过使用基线模型的中间输出和剪枝模型的分类损失来监督分层通道选择,并通过考虑重建误差、附加损失和分类损失来显著提高剪枝模型的性能。
Feb, 2019
本文提出了一种通道剪枝的方法,可以应用于各种复杂的结构,包括具有耦合通道的结构,在各种主干网络上进行了大量的实验,证明该方法可以有效地提高推断速度而不影响准确性。同时纳入了 GPU 推断速度关联性比 FLOPs 更高的记忆占用量的考量。
Aug, 2021
本文提出了一种简单而有效的基于数据驱动优化的频道修剪方法,该方法通过每层发现必要的宽度,以非均匀修剪 ResNet-50 等深度神经网络,实现了与现有方法相同的 FLOP 降低率,同时提高了 0.98%的准确度,并优于其他深度神经网络如 ResNet-34 和 ResNet-18。
May, 2020
本研究旨在通过对卷积神经网络的通道剪枝方法进行优化,以提高在移动和嵌入式设备上的计算效率,虽然有些情况下通道剪枝算法可能会损害计算性能,但是我们还是发现采用基于性能的剪枝会达到预期的效果。
Feb, 2020
本文提出了一种新的通道剪枝方法,能够加速非常深的卷积神经网络,通过基于 LASSO 回归的通道选择和最小二乘重构的迭代两步算法有效地修剪每一层,进一步推广到多层和多分支情况,剪枝后的 VGG-16 实现了 5 倍速度提升和仅 0.3%误差增加的最新成果,更重要的是,本方法能够加速现代网络,例如 ResNet,Xception,分别在 2 倍加速下只有 1.4%,1.0%的准确度损失,代码已公开出售。
Jul, 2017