HRank：使用高阶特征图进行滤波器剪枝

Feb, 2020

HRank：使用高阶特征图进行滤波器剪枝

HRank: Filter Pruning using High-Rank Feature Map

Mingbao Lin, Rongrong Ji, Yan Wang, Yichen Zhang, Baochang Zhang...

TL;DR本文主要介绍了一种基于高级别特征的神经网络剪枝算法，该算法通过数学方法确定剪枝规则并优化低级别特征的剪枝效率，达到了减少 FLOPs 和参数数量的效果，而且即使未更新的高级别特征权重对整体性能影响也很小。

Abstract

neural network pruning offers a promising prospect to facilitate deploying deep neural networks on resource-limited devices. However, existing methods are still challenged by the training inefficiency and labor cost in pruning designs, due to missing theoretical guidance of non-salient

neural network pruning high rank low-rank feature maps flops reduction model performance

发现论文，激发创造

Beta-Rank: 一种用于不平衡医学图像分析的强大卷积滤波器剪枝方法

这篇论文提出了一种新的滤波器剪枝方法，它能够有效地减少深度神经网络所需要的计算资源，同时通过与其他方法的比较和在医学数据集和智能手机应用程序上尝试验证，表明本文提出的方法表现得更好。

Apr, 2023

通过学习全局排序实现高效模型压缩

该论文提出了一种新的卷积神经网络滤波器裁剪算法，名为 LeGR，通过产生一组具有不同精度和延迟权衡的卷积神经网络来代替产生一个具有预定义延迟约束的卷积神经网络，且相比于之前的方法，LeGR 可以在保持性能的情况下快 2-3 倍。

Apr, 2019

高效深度神经网络的训练排名剪枝

本文提出了一种名为 TRP 的低秩逼近和正则化相结合的训练方法，用于在边缘设备上进行深度神经网络的图像分类任务，并在 CIFAR-10 和 ImageNet 数据集上进行了广泛评估，结果表明相比于之前的低秩逼近压缩方法取得了更好的性能。

Dec, 2018

利用冗余特征剪枝构建高效 ConvNets

该论文提出了一种通过消除冗余特征（或滤波器）来修剪深度和 / 或宽度卷积神经网络模型的高效技术，其依据特征空间中的相对余弦距离区分它们和它们的连接特征映射并优化精度和推理性能，但优化后的算法能将 VGG-16 的推理成本降低 40％、ResNet-56 的推理成本降低 27％、ResNet-110 的推理成本减少 39％。

Feb, 2018

特征统计指导的高效滤波器剪枝

本文提出一种新的滤波器剪枝方法，该方法结合了多个特征图选择机制：多样性感知选择和相似性感知选择，能够有效地减小卷积神经网络的参数大小和浮点运算数，同时几乎不会降低其分类准确度。

May, 2020

高效保留模型准确性的自动神经网络剪枝

本文提出一种自动修剪方法来减少神经网络中的 FLOPs，该方法通过引入可训练瓶颈来学习哪些神经元需要被保留以保持模型准确性，实验证明，该方法可以在保持模型准确性的前提下显著减少模型的 FLOPs。

Nov, 2021

网络剪枝的过滤草图

本文提出了一种新颖的网络剪枝方法 FilterSketch，运用了保留预训练网络权重信息的技巧，通过矩阵描绘，实现了剪枝优化的高效求解，同时不必进行基于数据的迭代优化，节约了大量时间，并且能够在简单微调过程中恢复剪枝网络的表达能力。

Jan, 2020

高效深度神经网络的训练等级裁剪

文章提出了一种名为 TRP 的方法，该方法可以将低秩逼近和正则化融入神经网络模型的训练过程中，通过使用随机次梯度下降优化核范数来促进 TRP 中的低秩，从而消除低秩逼近后的微调，并在 CIFAR-10 和 ImageNet 上显着优于以前使用低秩逼近的对比方法。

Oct, 2019

通过对抗性权重修剪实现更高的排名

卷积神经网络在边缘设备上部署困难，提出了一种基于排名的修剪方法（Rank-based PruninG），通过稀疏权重的高秩拓扑结构来实现高稀疏度，该方法在各种数据集和不同任务上验证了其有效性。

Nov, 2023

高效卷积神经网络中的滤波器裁剪

本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

Aug, 2016