通过测量滤波器之间的相互作用来进行结构化网络剪枝
本文提出了一种新的卷积神经网络剪枝方法 interspace pruning (IP),通过自适应滤波器基础 (FB) 的线性组合,将过滤器表示为动态间隙,从而在高稀疏度的情况下有效地减少 CNNs 的内存占用和提高了训练和泛化能力,优于传统的 unstructured pruning (SP) 方法。
Mar, 2022
本文提出一种新的滤波器剪枝方法,该方法结合了多个特征图选择机制:多样性感知选择和相似性感知选择,能够有效地减小卷积神经网络的参数大小和浮点运算数,同时几乎不会降低其分类准确度。
May, 2020
本文提出了一种卷积神经网络的结构冗余剪枝方法,通过在最具有结构冗余性的层剪枝,可以相对于之前研究集中在去除不重要滤波器的方法,更有效地压缩网络架构,并在不同的基准模型和数据集上获得了显著优越的表现
Apr, 2021
本研究提出了一种基于 GAN 的方法,通过软屏蔽对过滤器和其他结构进行联合裁剪,并在快速迭代阈值算法(FISTA)的帮助下获得更快速和可靠的裁剪。实验证明该方法在不同数据集上都可以获得显著的性能提升。
Mar, 2019
本文提出了一种名为结构化稀疏正则化(SSR)的滤波器剪枝方案,它通过两种不同的正则化方法来适应性地裁剪卷积神经网络(CNN)的滤波器,从而提高计算速度和降低内存开销,并通过实验验证了其优异性能。
Jan, 2019
本文提出了一种名为 SWP 的,基于 stripes 的滤波器修剪方法,该方法实现了高精度压缩和加速现代神经网络,大大提高了传统滤波器修剪方法的硬件友好性和压缩比,并通过 CIFAR-10 和 ImageNet 数据集的实验表明了其卓越的火炬率和准确度。
Sep, 2020
提出了一种新的结构修剪方法,在训练期间利用 CCM-loss 来促使神经网络学习强大的线性表示关系,然后设计了一种基于主成分分析的匹配通道选择策略来最大限度地利用 CCM-loss 的潜在能力,达到更高的剪枝率和减少计算量。
Oct, 2023
本文提出了一种自适应基于激活的结构化裁剪方法,以自动高效地生成满足用户要求的小型、准确和硬件高效的模型,它提出了迭代性结构化裁剪和自适应剪枝策略,可在不降低精度的情况下大幅减少参数和 FLOPs
Jan, 2022
本文提出了一种名为 MaskSparsity 的新型网络剪枝方法,使用有意义的稀疏正则化方法来选择特定滤波器,以获得更好的模型压缩效果,并在不损失模型准确性的情况下,在 Deep Learning 领域实现 63.03% 的 FLOP 降低和 60.34% 的参数减少。
Jan, 2022