通过对特征图和卷积核级别进行修剪,可以减少深度卷积神经网络的计算复杂性,而且在CIFAR-10数据集上的实验证明,在保持基线网络误分类率不到1%的情况下,可以在卷积层中引入超过85%的稀疏性。
Oct, 2016
本文介绍了一种基于剪枝策略的 CNN 结构压缩方法 CAR。CAR 通过去除对分类精度影响最小的滤波器实现了近似原始分类精度的同时,保留了原始网络中有代表性的滤波器。压缩后的网络更容易理解,因为具有更少的滤波器数目。此外,作者还提出了一种变种算法来量化每个图像类别对每个 CNN 滤波器的重要性,最和次重要的分类标签被证明是每个滤波器的有意义的解释。
May, 2017
ThiNet是一种快速压缩CNN模型的框架,通过统计信息计算从下一层获取关键信息来剪枝,可实现FLOPs减少和模型压缩。实验结果表明,即使对于紧凑网络,ThiNet也能减少一半以上的参数和FLOPs,牺牲不到1%的精度。
Jul, 2017
本文提出了一种名为结构化稀疏正则化(SSR)的滤波器剪枝方案,它通过两种不同的正则化方法来适应性地裁剪卷积神经网络(CNN)的滤波器,从而提高计算速度和降低内存开销,并通过实验验证了其优异性能。
Jan, 2019
本研究提出了一种基于GAN的方法,通过软屏蔽对过滤器和其他结构进行联合裁剪,并在快速迭代阈值算法(FISTA)的帮助下获得更快速和可靠的裁剪。实验证明该方法在不同数据集上都可以获得显著的性能提升。
Mar, 2019
本文提出了基于最小-最大框架的卷积神经网络滤波器级别剪枝方法,该方法同时对CNN模型参数进行剪枝和微调,具有自适应剪枝率和可直接指定误差容限等特点,在不损失准确性的情况下,有效减少了VGG-16的参数数量和FLOPS。
May, 2019
本文采用基于采样的方法对超参数化网络中的冗余卷积神经网络滤波器进行识别和剔除,方法可同时进行数据术语构造采样分布并保证压缩后的网络在性能和大小方面有证明保证,适用于不同的网络体系结构和数据集。
Nov, 2019
本研究提出了CURL方法,通过KL-divergence标准对残差连接内外的通道进行修剪,并使用知识蒸馏和标签细化方法解决了有限数据和标签噪声带来的问题,在ImageNet数据集上显著优于之前的最先进方法,同时在小数据集上修剪时,与预训练的小模型微调效果相当甚至更好。
本文提出了一种卷积神经网络的结构冗余剪枝方法,通过在最具有结构冗余性的层剪枝,可以相对于之前研究集中在去除不重要滤波器的方法,更有效地压缩网络架构,并在不同的基准模型和数据集上获得了显著优越的表现
Apr, 2021
本文提出了一种新的卷积神经网络剪枝方法 interspace pruning (IP),通过自适应滤波器基础 (FB) 的线性组合,将过滤器表示为动态间隙,从而在高稀疏度的情况下有效地减少CNNs 的内存占用和提高了训练和泛化能力,优于传统的 unstructured pruning (SP) 方法。
Mar, 2022