一种深层神经网络压缩的新型通道修剪方法
本文提出了一种新的通道剪枝方法,能够加速非常深的卷积神经网络,通过基于LASSO回归的通道选择和最小二乘重构的迭代两步算法有效地修剪每一层,进一步推广到多层和多分支情况,剪枝后的VGG-16实现了5倍速度提升和仅0.3%误差增加的最新成果,更重要的是,本方法能够加速现代网络,例如ResNet,Xception,分别在2倍加速下只有1.4%,1.0%的准确度损失,代码已公开出售。
Jul, 2017
本文提出一种基于通道修剪的卷积神经网络加速算法,该算法通过端到端随机训练和修剪常量通道的方法得到压缩模型,并在多个图像识别任务上验证了其竞争性能。
Feb, 2018
介绍了一种有效的基于鉴别力的通道剪枝方法,利用额外的损失函数增加中间层的鉴别力并根据重构误差和额外损失函数选择最具鉴别力的通道,并提出了一种迭代贪心算法来优化参数和通道选择。对类似于ILSVRC-12的测试数据,使用该算法对ResNet-50剪枝显示出相当有效的性能。
Oct, 2018
本文提出了一种新的通道剪枝方法,通过使用基线模型的中间输出和剪枝模型的分类损失来监督分层通道选择,并通过考虑重建误差、附加损失和分类损失来显著提高剪枝模型的性能。
Feb, 2019
本文提出了一种基于元学习的通道自动剪枝方法。首先使用简单的随机结构采样方法训练一个 PruningNet 元网络,然后应用演化搜索方法寻找良好表现的剪枝网络,其效率高且无需在线微调。实验结果表明,相比现有的剪枝方法,该方法在 MobileNet V1/V2 和 ResNet 等模型上有着更好的性能表现。
Mar, 2019
提出了一种启发式遗传算法(GA)来剪枝卷积神经网络(CNN),在错误、计算和稀疏性之间进行多目标权衡,经实验证明,GA可以根据预定义的适应度函数自动剪枝CNN,得到竞争性的压缩性能。
Jun, 2019
本研究提出了一种基于人工蜂群算法的新型通道剪枝方法,名为ABCPruner,通过优化每一层的通道数量来寻找最优的剪枝结构,相比于以往的方法,该方法能够有效地减少剪枝结构的组合数量并且更加高效。
Jan, 2020
本文提出了一种简单而有效的基于数据驱动优化的频道修剪方法,该方法通过每层发现必要的宽度,以非均匀修剪ResNet-50等深度神经网络,实现了与现有方法相同的FLOP降低率,同时提高了0.98%的准确度,并优于其他深度神经网络如ResNet-34和ResNet-18。
May, 2020
本文提出了一种名为动态结构修剪的结构修剪方法,基于组梯度学习实现了细粒度修剪,并在训练深度神经网络时优化修剪粒度,实验结果表明在ImageNet数据集上,动态结构修剪对ResNet50模型进行修剪可将FLOPs降低71.85%且不影响模型准确率,并在GPU加速方面优于通道修剪。
Mar, 2023