用于加速非常深的神经网络的通道修剪

ICCVJul, 2017

用于加速非常深的神经网络的通道修剪

Channel Pruning for Accelerating Very Deep Neural Networks

Yihui He, Xiangyu Zhang, Jian Sun

TL;DR本文提出了一种新的通道剪枝方法，能够加速非常深的卷积神经网络，通过基于 LASSO 回归的通道选择和最小二乘重构的迭代两步算法有效地修剪每一层，进一步推广到多层和多分支情况，剪枝后的 VGG-16 实现了 5 倍速度提升和仅 0.3％误差增加的最新成果，更重要的是，本方法能够加速现代网络，例如 ResNet，Xception，分别在 2 倍加速下只有 1.4％，1.0％的准确度损失，代码已公开出售。

Abstract

In this paper, we introduce a new channel pruning method to accelerate very deep convolutional neural networks.Given a trained CNN model, we propose an iterative two-step algorithm to effectively prune each layer

channel pruning convolutional neural networks lasso regression multi-layer state-of-the-art

发现论文，激发创造

一种深层神经网络压缩的新型通道修剪方法

本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

May, 2018

PruneNet: 全局重要性通道剪枝

本文提出了一种简单而有效的基于数据驱动优化的频道修剪方法，该方法通过每层发现必要的宽度，以非均匀修剪 ResNet-50 等深度神经网络，实现了与现有方法相同的 FLOP 降低率，同时提高了 0.98％的准确度，并优于其他深度神经网络如 ResNet-34 和 ResNet-18。

May, 2020

面向嵌入式 GPU 的性能感知卷积神经网络通道剪枝

本研究旨在通过对卷积神经网络的通道剪枝方法进行优化，以提高在移动和嵌入式设备上的计算效率，虽然有些情况下通道剪枝算法可能会损害计算性能，但是我们还是发现采用基于性能的剪枝会达到预期的效果。

Feb, 2020

利用通道剪枝加速大规模实时 GNN 推理

本文提出通过修剪每层维度中对输出结果的影响程度很小的特征维度，使用 LASSO 回归公式设计修剪框架来加速 GNN 推理。针对计算和存储情景，设计了修剪方案。此外，还有效地存储和重复利用已访问节点的隐藏特征，显著降低了计算目标嵌入所需支持节点的数量。本文在五个流行数据集上和一个实时垃圾邮件检测应用中评估了所提出的方法，证明剪枝 GNN 模型大大降低了计算和存储使用，同时几乎不影响准确度。

May, 2021

深度神经网络的鉴别感知通道剪枝

介绍了一种有效的基于鉴别力的通道剪枝方法，利用额外的损失函数增加中间层的鉴别力并根据重构误差和额外损失函数选择最具鉴别力的通道，并提出了一种迭代贪心算法来优化参数和通道选择。对类似于 ILSVRC-12 的测试数据，使用该算法对 ResNet-50 剪枝显示出相当有效的性能。

Oct, 2018

重新思考卷积层通道剪枝中的小范数低信息量假设

本文提出一种基于通道修剪的卷积神经网络加速算法，该算法通过端到端随机训练和修剪常量通道的方法得到压缩模型，并在多个图像识别任务上验证了其竞争性能。

Feb, 2018

REPrune：通过核心代表选择进行通道修剪

本文提出了一种新的通道修剪技术 REPrune，利用层次聚类方法在每个通道中识别相似的卷积核，并通过最大化聚类覆盖问题来选择卷积滤波器，结合同时训练和修剪的范式，实现训练过程中的高效修剪，实验结果显示 REPrune 在计算机视觉任务中表现优于现有方法，有效地在加速率和性能保留之间取得平衡。

Feb, 2024

深度网络的多损失感知通道剪枝

本文提出了一种新的通道剪枝方法，通过使用基线模型的中间输出和剪枝模型的分类损失来监督分层通道选择，并通过考虑重建误差、附加损失和分类损失来显著提高剪枝模型的性能。

Feb, 2019

通道调节神经网络

本研究介绍了通道门控（channel gating）方法，该方法是动态、细粒度且硬件高效的裁剪方案，能够通过跳过对分类结果没有贡献的输入通道的计算，优化卷积神经网络。实验证明，该方法能够在几乎不损失准确度的情况下，实现浮点运算量减少 2.7-8.0 倍，内存访问减少 2.0-4.4 倍，并结合知识蒸馏可以进一步降低计算成本。我们还设计了一个加速器，能够以 2.4 倍的速度进行量化的 ResNet-18 模型的推理，并实现了 2.8 倍的理论 FLOP 减少。

May, 2018

卷积神经网络的加速器感知剪枝

在嵌入式环境中，卷积神经网络因其过多的权重存储和算术运算而未能得到广泛应用，为解决这一问题，本文提出了一种新的修剪方案，以反映加速器架构，通过此方案，性能得到了大幅提升，并成功应用于 AlexNet，VGG16，ResNet，MobileNet 等多种网络模型。

Apr, 2018