通过相邻层的过滤器相似度进行滤波剪枝
本研究提出了一种学习算法,使用数据驱动的方式训练剪枝代理,利用奖励函数去除不必要的卷积神经网络滤波器,从而简化并加速CNN,并且在维持性能的情况下去除重复权重,减少计算资源消耗,该方法提供了一种易于控制网络性能和规模之间平衡的方法,并通过对多个流行的CNN对视觉识别和语义分割任务进行广泛的剪枝实验进行了验证。
Jan, 2018
本文通过软过度滤波(SFP)方法对深度卷积神经网络(CNN)推导过程进行了加速优化,通过对模型进行剪枝更新达到了更高的准确性和更高效的训练,这种方法不依赖预训练模型且在ILSCRC-2012数据集ResNet-101上表现优异。
Aug, 2018
本文提出了一种名为结构化稀疏正则化(SSR)的滤波器剪枝方案,它通过两种不同的正则化方法来适应性地裁剪卷积神经网络(CNN)的滤波器,从而提高计算速度和降低内存开销,并通过实验验证了其优异性能。
Jan, 2019
本研究提出了一种基于GAN的方法,通过软屏蔽对过滤器和其他结构进行联合裁剪,并在快速迭代阈值算法(FISTA)的帮助下获得更快速和可靠的裁剪。实验证明该方法在不同数据集上都可以获得显著的性能提升。
Mar, 2019
本文提出了基于最小-最大框架的卷积神经网络滤波器级别剪枝方法,该方法同时对CNN模型参数进行剪枝和微调,具有自适应剪枝率和可直接指定误差容限等特点,在不损失准确性的情况下,有效减少了VGG-16的参数数量和FLOPS。
May, 2019
本文提出了一种名为Gate Decorator的全局滤波器剪枝算法,该算法通过乘以通道缩放因子来转换卷积神经网络模块,并使用Taylor展开估算剪枝后的损失函数变化并使用估值进行全局滤波器重要性排序,然后通过删除无关紧要的滤波器来剪枝网络,并且通过迭代剪枝框架Tick-Tock提高准确性,实验证明该方法的有效性。
Sep, 2019
本文采用基于采样的方法对超参数化网络中的冗余卷积神经网络滤波器进行识别和剔除,方法可同时进行数据术语构造采样分布并保证压缩后的网络在性能和大小方面有证明保证,适用于不同的网络体系结构和数据集。
Nov, 2019
本文提出了一种名为SWP的,基于stripes的滤波器修剪方法,该方法实现了高精度压缩和加速现代神经网络,大大提高了传统滤波器修剪方法的硬件友好性和压缩比,并通过CIFAR-10和ImageNet数据集的实验表明了其卓越的火炬率和准确度。
Sep, 2020
通过Nyström近似方法,提出了一种高效的基于相似度的被动滤波器剪枝方法,相比于基于相似度的滤波器剪枝方法,其计算速度快三倍,准确率相同,该方法还表现出与现有基于范数的剪枝方法相似或更好的效果。在DCASE 2021任务1A基线网络和设计用于声学场景分类的VGGish网络等卷积神经网络上评估了该方法的有效性。
Oct, 2022
本研究解决了卷积神经网络压缩与加速中的结构化剪枝问题,通过引入强化学习,自动学习最佳剪枝分布,从而在保持模型准确性的同时,实现更高效的模型压缩。实验结果表明,RL-Pruner在多种网络模型上表现优异,为神经网络的部署与应用提供了重要的价值。
Nov, 2024