Mar, 2022

利用自适应滤波器表示来改善稀疏CNN训练的空间修剪

HTML
PDF
TL;DR本文提出了一种新的卷积神经网络剪枝方法 interspace pruning (IP)，通过自适应滤波器基础 (FB) 的线性组合，将过滤器表示为动态间隙，从而在高稀疏度的情况下有效地减少CNNs 的内存占用和提高了训练和泛化能力，优于传统的 unstructured pruning (SP) 方法。
发现论文，激发创造
  • 高效卷积神经网络中的滤波器裁剪

    本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

    Aug, 2016

  • 卷积神经网络过滤器剪枝学习

    本研究提出了一种学习算法，使用数据驱动的方式训练剪枝代理，利用奖励函数去除不必要的卷积神经网络滤波器，从而简化并加速CNN，并且在维持性能的情况下去除重复权重，减少计算资源消耗，该方法提供了一种易于控制网络性能和规模之间平衡的方法，并通过对多个流行的CNN对视觉识别和语义分割任务进行广泛的剪枝实验进行了验证。

    Jan, 2018

  • 深度卷积神经网络的可塑性：从随机修剪中恢复

    本文研究深度卷积神经网络滤波器修剪方法，通过检验实验证明，我们使用随机滤波器修剪策略能够获得接近最先进修剪方法的性能，同时在图像分类和目标检测中均能实现显著的加速。

    Jan, 2018

  • 通过生成对抗学习实现最优结构化CNN剪枝

    本研究提出了一种基于GAN的方法，通过软屏蔽对过滤器和其他结构进行联合裁剪，并在快速迭代阈值算法（FISTA）的帮助下获得更快速和可靠的裁剪。实验证明该方法在不同数据集上都可以获得显著的性能提升。

    Mar, 2019

  • Play and Prune: 适应性滤波剪枝用于深度模型压缩

    本文提出了基于最小-最大框架的卷积神经网络滤波器级别剪枝方法，该方法同时对CNN模型参数进行剪枝和微调，具有自适应剪枝率和可直接指定误差容限等特点，在不损失准确性的情况下，有效减少了VGG-16的参数数量和FLOPS。

    May, 2019

  • Gate Decorator: 全局过滤剪枝方法用于加速深度卷积神经网络

    本文提出了一种名为Gate Decorator的全局滤波器剪枝算法，该算法通过乘以通道缩放因子来转换卷积神经网络模块，并使用Taylor展开估算剪枝后的损失函数变化并使用估值进行全局滤波器重要性排序，然后通过删除无关紧要的滤波器来剪枝网络，并且通过迭代剪枝框架Tick-Tock提高准确性，实验证明该方法的有效性。

    Sep, 2019

  • 高效神经网络的可证明滤波裁剪

    本文采用基于采样的方法对超参数化网络中的冗余卷积神经网络滤波器进行识别和剔除，方法可同时进行数据术语构造采样分布并保证压缩后的网络在性能和大小方面有证明保证，适用于不同的网络体系结构和数据集。

    Nov, 2019

  • 滤波器中的剪枝滤波器

    本文提出了一种名为SWP的，基于stripes的滤波器修剪方法，该方法实现了高精度压缩和加速现代神经网络，大大提高了传统滤波器修剪方法的硬件友好性和压缩比，并通过CIFAR-10和ImageNet数据集的实验表明了其卓越的火炬率和准确度。

    Sep, 2020

  • 通过测量滤波器之间的相互作用来进行结构化网络剪枝

    提出了一种新的结构化网络修剪方法 SNPFI，该方法通过衡量滤波器的重要性和利用强度来减少冗余滤波器，并将滤波器间的相互作用纳入重要性度量中，实现减少计算成本并恢复性能的效果，并在各种图像分类数据集上成功验证了该方法的有效性。

    Jul, 2023

  • RL-Pruner：基于强化学习的卷积神经网络结构化剪枝与加速

    本研究解决了卷积神经网络压缩与加速中的结构化剪枝问题，通过引入强化学习，自动学习最佳剪枝分布，从而在保持模型准确性的同时，实现更高效的模型压缩。实验结果表明，RL-Pruner在多种网络模型上表现优异，为神经网络的部署与应用提供了重要的价值。

    Nov, 2024