端到端基于敏感度的滤波剪枝

Apr, 2022

End-to-End Sensitivity-Based Filter Pruning

Zahra Babaiee, Lucas Liebenwein, Ramin Hasani, Daniela Rus, Radu Grosu

TL;DR本文提出了一种新颖的敏感度过滤剪枝算法（SbF-Pruner），可以通过端到端的方式学习每个层的过滤器重要性分数，从而生成性能更优异的稀疏子网络，并且完全不需要预先定义的超参数和层预算。

Abstract

In this paper, we present a novel sensitivity-based filter pruning algorithm (SbF-Pruner) to learn the importance scores of filters of each layer end-to-end. Our method learns the scores from the filter weights, enabling it to account for the correlations between the filters of each la

filter pruning end-to-end learning sparse sub-network hyperparameter-free performance enhancement

发现论文，激发创造

基于敏感度的卷积神经网络图像分类剪枝框架 (SBPF)

通过增加一些额外的损失，从推理准确性的角度来评估每个层的重要性，我们提出了一种敏感度基于的方法来评估卷积神经网络中每个层的重要性，从而实现鲁棒性压缩。

Aug, 2022

深度卷积神经网络加速的软性过滤裁剪

本文通过软过度滤波 (SFP) 方法对深度卷积神经网络 (CNN) 推导过程进行了加速优化，通过对模型进行剪枝更新达到了更高的准确性和更高效的训练，这种方法不依赖预训练模型且在 ILSCRC-2012 数据集 ResNet-101 上表现优异。

Aug, 2018

是滤波剪枝，还是层剪枝，这是一个问题

本文提出了 LayerPrune 框架，相较于传统基于 filter 的剪枝方法，LayerPrune 基于不同的剪枝指标实现了更高的延迟降低，并使用相同的 filter 重要性判定剪枝最不重要的层，较好地平衡了准确率和删除率。

Jul, 2020

高效保留模型准确性的自动神经网络剪枝

本文提出一种自动修剪方法来减少神经网络中的 FLOPs，该方法通过引入可训练瓶颈来学习哪些神经元需要被保留以保持模型准确性，实验证明，该方法可以在保持模型准确性的前提下显著减少模型的 FLOPs。

Nov, 2021

特征统计指导的高效滤波器剪枝

本文提出一种新的滤波器剪枝方法，该方法结合了多个特征图选择机制：多样性感知选择和相似性感知选择，能够有效地减小卷积神经网络的参数大小和浮点运算数，同时几乎不会降低其分类准确度。

May, 2020

AutoPruner：一种端到端可训练的过滤器剪枝方法，用于高效的深度模型推断

通过将通道修剪和模型微调合并为单个端到端可训练的系统，使用自动修剪器来找到不重要的滤波器。所生成的真二元指数代码可以安全地删除运用于微调后的模型中。相较于之前的优秀修剪算法，AutoPruner 能够显著提高性能。慢慢擦除几个弱滤波器可以防止模型精度的过度下降。

May, 2018

高效卷积神经网络中的滤波器裁剪

本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

Aug, 2016

高效神经网络的可证明滤波裁剪

本文采用基于采样的方法对超参数化网络中的冗余卷积神经网络滤波器进行识别和剔除，方法可同时进行数据术语构造采样分布并保证压缩后的网络在性能和大小方面有证明保证，适用于不同的网络体系结构和数据集。

Nov, 2019

深度卷积神经网络的渐近软过滤剪枝

本文提出了一种渐进式软过滤剪枝方法以加速卷积神经网络的推理过程，通过在重新训练阶段更新裁剪过的滤波器并逐渐剪枝来避免信息丢失，实验结果表明，与软过滤剪枝相比，本文提出的方法在 ResNet-50 上将 FLOPs 降低了 40%，但只有 0.14% 的 top-5 准确度下降。

Aug, 2018

滤波器中的剪枝滤波器

本文提出了一种名为 SWP 的，基于 stripes 的滤波器修剪方法，该方法实现了高精度压缩和加速现代神经网络，大大提高了传统滤波器修剪方法的硬件友好性和压缩比，并通过 CIFAR-10 和 ImageNet 数据集的实验表明了其卓越的火炬率和准确度。

Sep, 2020