滤波器中的剪枝滤波器
本文提出了一种基于滤波器减少方法的 CNNs 加速方法,它不依赖稀疏卷积库,通过移除对输出准确性影响较小的整个滤波器及其连接的特征图,大大降低了计算成本,在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%,并且通过重新训练网络可以接近原始准确性。
Aug, 2016
本文提出了一种渐进式软过滤剪枝方法以加速卷积神经网络的推理过程,通过在重新训练阶段更新裁剪过的滤波器并逐渐剪枝来避免信息丢失,实验结果表明,与软过滤剪枝相比,本文提出的方法在 ResNet-50 上将 FLOPs 降低了 40%,但只有 0.14% 的 top-5 准确度下降。
Aug, 2018
本文提出了基于最小-最大框架的卷积神经网络滤波器级别剪枝方法,该方法同时对CNN模型参数进行剪枝和微调,具有自适应剪枝率和可直接指定误差容限等特点,在不损失准确性的情况下,有效减少了VGG-16的参数数量和FLOPS。
May, 2019
本文提出了一种名为 Approximated Oracle Filter Pruning(AOFP)的滤波器裁剪方法,其可以自动化找到卷积神经网络中最不重要的滤波器,同时支持同时对多个层进行修剪,能够在可接受的时间成本内修剪现有的非常深的卷积神经网络,没有启发式知识,或重新设计一个具有更高准确性和更快推断的模型。
May, 2019
本文采用基于采样的方法对超参数化网络中的冗余卷积神经网络滤波器进行识别和剔除,方法可同时进行数据术语构造采样分布并保证压缩后的网络在性能和大小方面有证明保证,适用于不同的网络体系结构和数据集。
Nov, 2019
本文主要介绍了一种基于高级别特征的神经网络剪枝算法,该算法通过数学方法确定剪枝规则并优化低级别特征的剪枝效率,达到了减少FLOPs和参数数量的效果,而且即使未更新的高级别特征权重对整体性能影响也很小。
Feb, 2020
本文提出了LayerPrune框架,相较于传统基于filter的剪枝方法,LayerPrune基于不同的剪枝指标实现了更高的延迟降低,并使用相同的filter重要性判定剪枝最不重要的层,较好地平衡了准确率和删除率。
Jul, 2020
本文提出了一种新的卷积神经网络剪枝方法 interspace pruning (IP),通过自适应滤波器基础 (FB) 的线性组合,将过滤器表示为动态间隙,从而在高稀疏度的情况下有效地减少CNNs 的内存占用和提高了训练和泛化能力,优于传统的 unstructured pruning (SP) 方法。
Mar, 2022
提出了一种基于运算符范数的被动滤波器修剪方法,通过考虑滤波器在输出中的贡献来裁剪滤波器,相对于现有的主动滤波器修剪方法快 4.5 倍,并且在声音场景分类和图像分类等任务中表现出更好的泛化能力和性能。
Apr, 2023
本研究介绍了一种新的滤波器修剪方法(FSCL), 它在连续层之间明确利用滤波器之间的相似性来压缩模型,从而剪掉那些在模型中不太重要的特征, 并在多个基准模型和数据集上取得了显着的精度、FLOPs和参数量减少。
Apr, 2023