该研究采用随机搜索算法确定裁剪神经网络中通道的配置,比较各种方法的表现,结果发现在这种设置下没有明显的优胜者,这倾向于深入研究通道配置搜索方法。
May, 2022
本文提出了一种基于遗传算法的新型通道剪枝方法,通过分层和知识蒸馏框架的剪枝中,显著降低了模型的冗余,并在三个基准数据集上验证其性能。
May, 2018
介绍了一种有效的基于鉴别力的通道剪枝方法,利用额外的损失函数增加中间层的鉴别力并根据重构误差和额外损失函数选择最具鉴别力的通道,并提出了一种迭代贪心算法来优化参数和通道选择。对类似于 ILSVRC-12 的测试数据,使用该算法对 ResNet-50 剪枝显示出相当有效的性能。
Oct, 2018
通过将通道修剪和模型微调合并为单个端到端可训练的系统,使用自动修剪器来找到不重要的滤波器。所生成的真二元指数代码可以安全地删除运用于微调后的模型中。相较于之前的优秀修剪算法,AutoPruner 能够显著提高性能。慢慢擦除几个弱滤波器可以防止模型精度的过度下降。
本文提出了一种新的通道剪枝方法,通过使用基线模型的中间输出和剪枝模型的分类损失来监督分层通道选择,并通过考虑重建误差、附加损失和分类损失来显著提高剪枝模型的性能。
Feb, 2019
本文提出了一种新的网络剪枝方法,通过神经结构搜索直接搜索灵活的通道和层大小, 最小化剪枝网络的失误实现通道和层大小的学习,提高了传统的网络剪枝方法, 并有效地区别了不同搜索和知识转移方法的效果。
May, 2019
本研究提出了一种基于注意统计的简单通道剪枝技术,使用单个压缩比替代每层模型的分析,实现了自动通道选择,取得了超越常规方法的性能提升,训练不同模型和数据集的结果表明该方法减少了计算成本且更加准确。
Jun, 2018
本研究从网络层面出发探讨通道剪枝问题,提出高冗余层的随机剪枝方案能够更有效地提高神经网络的计算效率和准确性。
本文提出了一种新的通道剪枝方法,能够加速非常深的卷积神经网络,通过基于 LASSO 回归的通道选择和最小二乘重构的迭代两步算法有效地修剪每一层,进一步推广到多层和多分支情况,剪枝后的 VGG-16 实现了 5 倍速度提升和仅 0.3%误差增加的最新成果,更重要的是,本方法能够加速现代网络,例如 ResNet,Xception,分别在 2 倍加速下只有 1.4%,1.0%的准确度损失,代码已公开出售。
Jul, 2017
基于通道相似性和修剪指示器的多头注意力机制自动修剪方法,通过平衡各头通道的移除比例和通道信息的重新加权来降低计算复杂性,并在图像分类任务中表现出超越先前的高效模型和修剪方法的准确性。
May, 2024