DBP:基于差异性的块级剪枝用于深度模型加速
本文研究深度卷积神经网络滤波器修剪方法,通过检验实验证明,我们使用随机滤波器修剪策略能够获得接近最先进修剪方法的性能,同时在图像分类和目标检测中均能实现显著的加速。
Jan, 2018
本文通过软过度滤波(SFP)方法对深度卷积神经网络(CNN)推导过程进行了加速优化,通过对模型进行剪枝更新达到了更高的准确性和更高效的训练,这种方法不依赖预训练模型且在ILSCRC-2012数据集ResNet-101上表现优异。
Aug, 2018
本文提出了一种渐进式软过滤剪枝方法以加速卷积神经网络的推理过程,通过在重新训练阶段更新裁剪过的滤波器并逐渐剪枝来避免信息丢失,实验结果表明,与软过滤剪枝相比,本文提出的方法在 ResNet-50 上将 FLOPs 降低了 40%,但只有 0.14% 的 top-5 准确度下降。
Aug, 2018
本文提出了基于最小-最大框架的卷积神经网络滤波器级别剪枝方法,该方法同时对CNN模型参数进行剪枝和微调,具有自适应剪枝率和可直接指定误差容限等特点,在不损失准确性的情况下,有效减少了VGG-16的参数数量和FLOPS。
May, 2019
本文提出了一种名为Gate Decorator的全局滤波器剪枝算法,该算法通过乘以通道缩放因子来转换卷积神经网络模块,并使用Taylor展开估算剪枝后的损失函数变化并使用估值进行全局滤波器重要性排序,然后通过删除无关紧要的滤波器来剪枝网络,并且通过迭代剪枝框架Tick-Tock提高准确性,实验证明该方法的有效性。
Sep, 2019
本文提出了一种名为SWP的,基于stripes的滤波器修剪方法,该方法实现了高精度压缩和加速现代神经网络,大大提高了传统滤波器修剪方法的硬件友好性和压缩比,并通过CIFAR-10和ImageNet数据集的实验表明了其卓越的火炬率和准确度。
Sep, 2020
通过将神经网络的深度、宽度和分辨率三个维度综合考虑,将修剪问题视为一个最优化问题,并使用多项式回归的方法确定最优解,实现神经网络修剪,进而提出了两种方法来缩短训练回归所需的时间,并进行实验验证,表明我们提出的算法超越了最新的修剪算法和神经结构搜索算法。
Oct, 2020
本文研究了定结构剪枝在多任务深度神经网络模型中的有效性。通过使用基于现有单任务筛选剪枝标准和基于多任务学习筛选剪枝标准,采用迭代剪枝策略进行剪枝,本文表明在参数数目相似的情况下,与快速单任务DNN相比,DNN多任务可以通过精心的超参数调整实现相似的性能,迭代权重剪枝可能不是实现良好性能剪裁模型的最好方式。
Apr, 2023
本研究提出网络剪枝空间的概念,探讨子网络结构在不同剪枝范围内的最小精度损失并证明了在某个剪枝范围内存在最佳的 FLOPs-to-parameter-bucket 比率,通过实验结果表明,我们找到的子网络在合理的 FLOPs 下优于现有最先进的剪枝方法。
Apr, 2023
该论文介绍了一种新的网络剪枝方法,针对边缘计算环境中的深度神经网络中的块剪枝。研究方法采用直接的块移除策略来评估对分类准确性的影响,通过对CIFAR-10、CIFAR-100和ImageNet数据集以ResNet架构进行广泛实验,结果表明该方法在减小模型大小的同时保持高准确性方面的有效性,在网络的大部分被剪枝的情况下,尤其是在ImageNet上通过对ResNet50的剪枝时,其结果突出了该方法在维持模型大小和性能之间的最佳平衡能力,尤其是在资源有限的边缘计算场景中。
Dec, 2023