IJCAIAug, 2018

深度卷积神经网络加速的软性过滤裁剪

PDF
TL;DR本文通过软过度滤波 (SFP) 方法对深度卷积神经网络 (CNN) 推导过程进行了加速优化，通过对模型进行剪枝更新达到了更高的准确性和更高效的训练，这种方法不依赖预训练模型且在 ILSCRC-2012 数据集 ResNet-101 上表现优异。
soft filter pruningdeep convolutional neural networksmodel optimizationtraining efficiencyilscrc-2012
发现论文，激发创造
  • 深度卷积神经网络的渐近软过滤剪枝

    本文提出了一种渐进式软过滤剪枝方法以加速卷积神经网络的推理过程，通过在重新训练阶段更新裁剪过的滤波器并逐渐剪枝来避免信息丢失，实验结果表明，与软过滤剪枝相比，本文提出的方法在 ResNet-50 上将 FLOPs 降低了 40%，但只有 0.14% 的 top-5 准确度下降。

    Aug, 2018

  • CR-SFP：学习一致表示用于软滤波器裁剪

    CR-SFP 是一种简单而有效的训练框架，通过学习一致的表示来改善软过滤器修剪后的模型准确性，同时减少网络的计算复杂度，适用于各种 CNN 架构。

    Dec, 2023

  • 高效保留模型准确性的自动神经网络剪枝

    本文提出一种自动修剪方法来减少神经网络中的 FLOPs，该方法通过引入可训练瓶颈来学习哪些神经元需要被保留以保持模型准确性，实验证明，该方法可以在保持模型准确性的前提下显著减少模型的 FLOPs。

    Nov, 2021

  • Play and Prune: 适应性滤波剪枝用于深度模型压缩

    本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法，该方法同时对 CNN 模型参数进行剪枝和微调，具有自适应剪枝率和可直接指定误差容限等特点，在不损失准确性的情况下，有效减少了 VGG-16 的参数数量和 FLOPS。

    May, 2019

  • 用于卷积神经网络的在线过滤聚类和修剪

    本文提出了一种基于聚类的卷积核剪枝方法，通过在线将卷积核聚类并比较相似的卷积核，可以安全地剪掉同类的冗余卷积核，实现深度神经网络的加速，实验表明该方法在 CIFAR10 与 CIFAR100 数据集上具有竞争性的性能。

    May, 2019

  • 高效卷积神经网络中的滤波器裁剪

    本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

    Aug, 2016

  • 卷积神经网络加速的结构化概率裁剪

    本文提出一种名为 “结构化概率剪枝” 的卷积神经网络加速新方法，采用概率剪枝方式剪枝卷积层权重，加速 AlexNet 和 VGG-16 在 ImageNet 分类中 4 倍和 2 倍的速度，并且只有 0.3% 和 0.8% 的前 5 位准确率损失。此外，SPP 可直接应用于加速 ResNet 等多分支 CNN 网络，且在 ImageNet 上只有 0.8% 的准确率损失。

    Sep, 2017

  • 自适应网络剪枝

    本文提出了一种通过自适应网络剪枝方法（SANP）来降低卷积神经网络的计算成本。该方法引入了通用的显着性和剪枝模块（SPM）来为每个卷积层预测显着性评分，并且针对每个通道剪枝。在两个数据集和三个骨干的广泛实验中，SANP 在分类准确率和剪枝率方面都超过了最先进的方法。

    Oct, 2019

  • 滤波器中的剪枝滤波器

    本文提出了一种名为 SWP 的，基于 stripes 的滤波器修剪方法，该方法实现了高精度压缩和加速现代神经网络，大大提高了传统滤波器修剪方法的硬件友好性和压缩比，并通过 CIFAR-10 和 ImageNet 数据集的实验表明了其卓越的火炬率和准确度。

    Sep, 2020

  • SCSP: 具有软自适应方式的谱聚类滤波剪枝

    本文提出了一种新的卷积神经网络压缩方法，即采用软自适应方式的谱聚类滤波器剪枝（SCSP），通过层层使用谱聚类来探索过滤器之间的内在连接并只计数有效组来实现模型压缩，同时保持相当的性能表现，也找到了一种新的解释模型压缩过程的方法。

    Jun, 2018