本研究介绍了通道门控（channel gating）方法，该方法是动态、细粒度且硬件高效的裁剪方案，能够通过跳过对分类结果没有贡献的输入通道的计算，优化卷积神经网络。实验证明，该方法能够在几乎不损失准确度的情况下，实现浮点运算量减少 2.7-8.0 倍，内存访问减少 2.0-4.4 倍，并结合知识蒸馏可以进一步降低计算成本。我们还设计了一个加速器，能够以 2.4 倍的速度进行量化的 ResNet-18 模型的推理，并实现了 2.8 倍的理论 FLOP 减少。

May, 2018

本文介绍一种基于辅助门控机制的结构化网络剪枝方法，通过给主干网中的块分配重要性标记，并提出了一种块级剪枝的投票策略来解决移动设备上使用卷积神经网络时遇到的成本问题。通过知识蒸馏的三阶段训练计划，提高了模型性能，实现了更好的压缩率。实验证明该方法在分类任务中可以取得最先进的压缩性能。此外，通过提供预训练模型，我们的方法可以与其他剪枝方法协同集成，从而实现比未剪枝模型更优异的性能，并减少了超过 93％的浮点运算。

May, 2022

本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

May, 2018

本文提出一种基于梯度流的模型修剪方法，综合考虑 BN 和 ReLU 层后的卷积操作对整个特征映射的影响，采用 BN 层中的一阶泰勒多项式标识神经元的重要程度，该方法在图像分类和去噪任务上取得了良好的性能表现。

Oct, 2021

通过引入可训练门控函数，将离散取值变量转化为可微的属性，应用在架构优化的选择问题上，从而实现网络的剪枝和权重优化，通过实验验证了该方法在图像分类、风格变换、光流估计和神经机器翻译等各个领域中的有效性。

Apr, 2019

本文提出了一种简单而有效的基于数据驱动优化的频道修剪方法，该方法通过每层发现必要的宽度，以非均匀修剪 ResNet-50 等深度神经网络，实现了与现有方法相同的 FLOP 降低率，同时提高了 0.98％的准确度，并优于其他深度神经网络如 ResNet-34 和 ResNet-18。

May, 2020

本文提出了一种名为 Gate Decorator 的全局滤波器剪枝算法，该算法通过乘以通道缩放因子来转换卷积神经网络模块，并使用 Taylor 展开估算剪枝后的损失函数变化并使用估值进行全局滤波器重要性排序，然后通过删除无关紧要的滤波器来剪枝网络，并且通过迭代剪枝框架 Tick-Tock 提高准确性，实验证明该方法的有效性。

Sep, 2019

该研究介绍了一种简单而有效的方法（称为 DCP），旨在尽可能地选择实际有助于卷积神经网络判别能力的通道，并进一步通过去除多余的内核来压缩深层网络，同时通过自适应停止条件来防止选择冗余的通道 / 内核并实现更好的性能。

Jan, 2020

介绍了一种有效的基于鉴别力的通道剪枝方法，利用额外的损失函数增加中间层的鉴别力并根据重构误差和额外损失函数选择最具鉴别力的通道，并提出了一种迭代贪心算法来优化参数和通道选择。对类似于 ILSVRC-12 的测试数据，使用该算法对 ResNet-50 剪枝显示出相当有效的性能。

Oct, 2018

本文提出了 Continuous Growth and Pruning (CGaP) 方法，旨在在训练模型期间最小化冗余并从一开始便避免引入冗余，通过持续增长和修剪过程获取紧凑和准确的模型。根据实验结果，在代表性数据集和 DNN 结构上，CGaP 的效果优于以前的仅修剪预定义结构的方法，达到了参数减少 78.9％和 85.8％，FLOPs（浮点计算数）减少 53.2％和 74.2％。

May, 2019