Sep, 2019

Gate Decorator: 全局过滤剪枝方法用于加速深度卷积神经网络

HTML
PDF
TL;DR本文提出了一种名为Gate Decorator的全局滤波器剪枝算法，该算法通过乘以通道缩放因子来转换卷积神经网络模块，并使用Taylor展开估算剪枝后的损失函数变化并使用估值进行全局滤波器重要性排序，然后通过删除无关紧要的滤波器来剪枝网络，并且通过迭代剪枝框架Tick-Tock提高准确性，实验证明该方法的有效性。
发现论文，激发创造
  • ThiNet：一种用于深度神经网络压缩的滤波器层剪枝方法

    ThiNet是一种快速压缩CNN模型的框架，通过统计信息计算从下一层获取关键信息来剪枝，可实现FLOPs减少和模型压缩。实验结果表明，即使对于紧凑网络，ThiNet也能减少一半以上的参数和FLOPs，牺牲不到1%的精度。

    Jul, 2017

  • 深度卷积神经网络加速的软性过滤裁剪

    本文通过软过度滤波(SFP)方法对深度卷积神经网络(CNN)推导过程进行了加速优化，通过对模型进行剪枝更新达到了更高的准确性和更高效的训练，这种方法不依赖预训练模型且在ILSCRC-2012数据集ResNet-101上表现优异。

    Aug, 2018

  • RePr: 卷积滤波器的改进训练

    研究表明，通过暂时修剪和恢复模型的子集滤波器，反复进行该过程，可以减少所学习特征的重叠，从而提高了模型的泛化能力；而在这种情况下，现有的模型修剪标准并不是选择修剪滤波器的最优策略，因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络，能够提高各种任务的性能，尤其是小型网络的性能。

    Nov, 2018

  • 通过生成对抗学习实现最优结构化CNN剪枝

    本研究提出了一种基于GAN的方法，通过软屏蔽对过滤器和其他结构进行联合裁剪，并在快速迭代阈值算法（FISTA）的帮助下获得更快速和可靠的裁剪。实验证明该方法在不同数据集上都可以获得显著的性能提升。

    Mar, 2019

  • Play and Prune: 适应性滤波剪枝用于深度模型压缩

    本文提出了基于最小-最大框架的卷积神经网络滤波器级别剪枝方法，该方法同时对CNN模型参数进行剪枝和微调，具有自适应剪枝率和可直接指定误差容限等特点，在不损失准确性的情况下，有效减少了VGG-16的参数数量和FLOPS。

    May, 2019

  • HRank：使用高阶特征图进行滤波器剪枝

    本文主要介绍了一种基于高级别特征的神经网络剪枝算法，该算法通过数学方法确定剪枝规则并优化低级别特征的剪枝效率，达到了减少FLOPs和参数数量的效果，而且即使未更新的高级别特征权重对整体性能影响也很小。

    Feb, 2020

  • 滤波器中的剪枝滤波器

    本文提出了一种名为SWP的，基于stripes的滤波器修剪方法，该方法实现了高精度压缩和加速现代神经网络，大大提高了传统滤波器修剪方法的硬件友好性和压缩比，并通过CIFAR-10和ImageNet数据集的实验表明了其卓越的火炬率和准确度。

    Sep, 2020

  • 高效保留模型准确性的自动神经网络剪枝

    本文提出一种自动修剪方法来减少神经网络中的FLOPs，该方法通过引入可训练瓶颈来学习哪些神经元需要被保留以保持模型准确性，实验证明，该方法可以在保持模型准确性的前提下显著减少模型的FLOPs。

    Nov, 2021

  • 利用自适应滤波器表示来改善稀疏CNN训练的空间修剪

    本文提出了一种新的卷积神经网络剪枝方法 interspace pruning (IP)，通过自适应滤波器基础 (FB) 的线性组合，将过滤器表示为动态间隙，从而在高稀疏度的情况下有效地减少CNNs 的内存占用和提高了训练和泛化能力，优于传统的 unstructured pruning (SP) 方法。

    Mar, 2022

  • 用于压缩卷积神经网络的动态结构剪枝

    本文提出了一种名为动态结构修剪的结构修剪方法，基于组梯度学习实现了细粒度修剪，并在训练深度神经网络时优化修剪粒度，实验结果表明在ImageNet数据集上，动态结构修剪对ResNet50模型进行修剪可将FLOPs降低71.85%且不影响模型准确率，并在GPU加速方面优于通道修剪。

    Mar, 2023