ThiNet:一种用于深度神经网络压缩的滤波器层剪枝方法
本研究提出了一种基于熵的滤波器重要性评估方法,使用该方法来加速和压缩现有的卷积神经网络模型,并通过对过滤器进行快速修剪和精细调整来优化模型的计算性能和泛化能力,以在 ILSVRC-12 基准测试中取得了良好的性能表现,能够在不牺牲模型精度情况下将模型压缩大约 16.64 倍。
Jun, 2017
本文提出了一种基于滤波器减少方法的 CNNs 加速方法,它不依赖稀疏卷积库,通过移除对输出准确性影响较小的整个滤波器及其连接的特征图,大大降低了计算成本,在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%,并且通过重新训练网络可以接近原始准确性。
Aug, 2016
通过迭代剪枝最低激活值方法,提出 DropNet 来简化深度神经网络,实验结果表明,最高可减少 90% 的节点 / 滤波器而不影响精度,并证明 DropNet 与贪婪算法相似。
Jul, 2022
本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法,该方法同时对 CNN 模型参数进行剪枝和微调,具有自适应剪枝率和可直接指定误差容限等特点,在不损失准确性的情况下,有效减少了 VGG-16 的参数数量和 FLOPS。
May, 2019
本文提出了 LayerPrune 框架,相较于传统基于 filter 的剪枝方法,LayerPrune 基于不同的剪枝指标实现了更高的延迟降低,并使用相同的 filter 重要性判定剪枝最不重要的层,较好地平衡了准确率和删除率。
Jul, 2020
本文提出一种自动修剪方法来减少神经网络中的 FLOPs,该方法通过引入可训练瓶颈来学习哪些神经元需要被保留以保持模型准确性,实验证明,该方法可以在保持模型准确性的前提下显著减少模型的 FLOPs。
Nov, 2021
该论文提出了一种新的卷积神经网络滤波器裁剪算法,名为 LeGR,通过产生一组具有不同精度和延迟权衡的卷积神经网络来代替产生一个具有预定义延迟约束的卷积神经网络,且相比于之前的方法,LeGR 可以在保持性能的情况下快 2-3 倍。
Apr, 2019
通过深度网络剪枝等方法,对基于小型 SqueezeNet、流行的 MobileNetv2 和 ResNet50 架构的网络进行压缩,以实现移动设备上的可靠且实时的人脸识别。
May, 2024
该论文提出了一种基于滤波器组逼近的新型分解方法,该方法可以显著减少深度卷积神经网络中的冗余,同时保持大部分特征表示,通过在每层中利用滤波器组结构,相比于其他基于低秩分解算法,我们的方法可以在多个图像分类数据集上减少 80% 以上的算术运算量(FLOPs),并减少精度损失,另外,实验证明我们的方法有助于缓解压缩网络的退化现象,从而提高网络的收敛性和性能。
Jul, 2018