Aug, 2018

深度卷积神经网络的渐近软过滤剪枝

HTML
PDF
TL;DR本文提出了一种渐进式软过滤剪枝方法以加速卷积神经网络的推理过程，通过在重新训练阶段更新裁剪过的滤波器并逐渐剪枝来避免信息丢失，实验结果表明，与软过滤剪枝相比，本文提出的方法在 ResNet-50 上将 FLOPs 降低了 40%，但只有 0.14% 的 top-5 准确度下降。
发现论文，激发创造
  • 深度卷积神经网络的可塑性：从随机修剪中恢复

    本文研究深度卷积神经网络滤波器修剪方法，通过检验实验证明，我们使用随机滤波器修剪策略能够获得接近最先进修剪方法的性能，同时在图像分类和目标检测中均能实现显著的加速。

    Jan, 2018

  • 深度卷积神经网络加速的软性过滤裁剪

    本文通过软过度滤波(SFP)方法对深度卷积神经网络(CNN)推导过程进行了加速优化，通过对模型进行剪枝更新达到了更高的准确性和更高效的训练，这种方法不依赖预训练模型且在ILSCRC-2012数据集ResNet-101上表现优异。

    Aug, 2018

  • 基于几何中位数的卷积神经网络滤波剪枝加速

    通过数学中介数理论给出了一种新的滤波器压缩方法FPGM，该方法完全不受“小范数”原则的限制，不仅能够压缩CNN模型，而且还能提高相对精度。

    Nov, 2018

  • Play and Prune: 适应性滤波剪枝用于深度模型压缩

    本文提出了基于最小-最大框架的卷积神经网络滤波器级别剪枝方法，该方法同时对CNN模型参数进行剪枝和微调，具有自适应剪枝率和可直接指定误差容限等特点，在不损失准确性的情况下，有效减少了VGG-16的参数数量和FLOPS。

    May, 2019

  • 高效神经网络的可证明滤波裁剪

    本文采用基于采样的方法对超参数化网络中的冗余卷积神经网络滤波器进行识别和剔除，方法可同时进行数据术语构造采样分布并保证压缩后的网络在性能和大小方面有证明保证，适用于不同的网络体系结构和数据集。

    Nov, 2019

  • DBP：基于差异性的块级剪枝用于深度模型加速

    本文介绍一种基于Discrimination的块级剪枝方法(DBP)，通过削减深度神经网络中的冗余块，实现了比基于滤波器剪枝方法高的加速比和准确率。

    Dec, 2019

  • 滤波器中的剪枝滤波器

    本文提出了一种名为SWP的，基于stripes的滤波器修剪方法，该方法实现了高精度压缩和加速现代神经网络，大大提高了传统滤波器修剪方法的硬件友好性和压缩比，并通过CIFAR-10和ImageNet数据集的实验表明了其卓越的火炬率和准确度。

    Sep, 2020

  • 基于自适应激活的结构化剪枝

    本文提出了一种自适应基于激活的结构化裁剪方法，以自动高效地生成满足用户要求的小型、准确和硬件高效的模型，它提出了迭代性结构化裁剪和自适应剪枝策略，可在不降低精度的情况下大幅减少参数和FLOPs

    Jan, 2022

  • 基于稀疏性视角的深度神经网络剪枝

    本文提出了 PQ Index(PQI) 作为衡量深度神经网络可压缩性的量化指标，并基于此开发了一种基于稀疏性信息的自适应裁剪算法 (SAP)，该算法在压缩效率和稳健性方面优于遗传算法等迭代型裁剪算法。

    Feb, 2023

  • RL-Pruner：基于强化学习的卷积神经网络结构化剪枝与加速

    本研究解决了卷积神经网络压缩与加速中的结构化剪枝问题，通过引入强化学习，自动学习最佳剪枝分布，从而在保持模型准确性的同时，实现更高效的模型压缩。实验结果表明，RL-Pruner在多种网络模型上表现优异，为神经网络的部署与应用提供了重要的价值。

    Nov, 2024