Play and Prune: 适应性滤波剪枝用于深度模型压缩
本文提出了一种基于滤波器减少方法的 CNNs 加速方法,它不依赖稀疏卷积库,通过移除对输出准确性影响较小的整个滤波器及其连接的特征图,大大降低了计算成本,在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%,并且通过重新训练网络可以接近原始准确性。
Aug, 2016
本研究提出了一种学习算法,使用数据驱动的方式训练剪枝代理,利用奖励函数去除不必要的卷积神经网络滤波器,从而简化并加速 CNN,并且在维持性能的情况下去除重复权重,减少计算资源消耗,该方法提供了一种易于控制网络性能和规模之间平衡的方法,并通过对多个流行的 CNN 对视觉识别和语义分割任务进行广泛的剪枝实验进行了验证。
Jan, 2018
本文提出了一种新型的卷积神经网络压缩算法,通过利用网络层级复杂性,设计了三种剪枝模式:参数感知型、浮点运算量感知型和内存感知型,以在低功耗设备上实现高效率的模型压缩和加速,并在智能农业,智能医疗和智能工厂等应用中表现出了极高的性能表现。
Aug, 2022
本文通过软过度滤波 (SFP) 方法对深度卷积神经网络 (CNN) 推导过程进行了加速优化,通过对模型进行剪枝更新达到了更高的准确性和更高效的训练,这种方法不依赖预训练模型且在 ILSCRC-2012 数据集 ResNet-101 上表现优异。
Aug, 2018
Layer Adaptive Progressive Pruning (LAPP) is a novel framework that introduces a learnable threshold for each layer and FLOPs constraints for network, gradually compressing the network during initial training and automatically determining appropriate pruning rates for each layer.
Sep, 2023
本文提出了一种渐进式软过滤剪枝方法以加速卷积神经网络的推理过程,通过在重新训练阶段更新裁剪过的滤波器并逐渐剪枝来避免信息丢失,实验结果表明,与软过滤剪枝相比,本文提出的方法在 ResNet-50 上将 FLOPs 降低了 40%,但只有 0.14% 的 top-5 准确度下降。
Aug, 2018
通过深度网络剪枝等方法,对基于小型 SqueezeNet、流行的 MobileNetv2 和 ResNet50 架构的网络进行压缩,以实现移动设备上的可靠且实时的人脸识别。
May, 2024
本文提出了一种自适应基于激活的结构化裁剪方法,以自动高效地生成满足用户要求的小型、准确和硬件高效的模型,它提出了迭代性结构化裁剪和自适应剪枝策略,可在不降低精度的情况下大幅减少参数和 FLOPs
Jan, 2022
本文提出了 LayerPrune 框架,相较于传统基于 filter 的剪枝方法,LayerPrune 基于不同的剪枝指标实现了更高的延迟降低,并使用相同的 filter 重要性判定剪枝最不重要的层,较好地平衡了准确率和删除率。
Jul, 2020