CVPRMar, 2022

CNN 模型压缩的通道探索 (CHex)

PDF
TL;DR提出了一种名为 CHEX 的新型通道探索方法，使用 CSS 解决层内的通道修剪问题，使用回归阶段解决层间的动态重新分配通道数量的问题。所有探索过程都是在单次训练中完成的，实验结果表明，CHEX 可以有效地减少各种 CNN 架构的 FLOPs，并在多种计算机视觉任务上表现出色。
channel explorationdeep convolutional neural networkspruning methodscolumn subset selectionflops
发现论文，激发创造
  • 一种深层神经网络压缩的新型通道修剪方法

    本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

    May, 2018

  • 实用网络压缩的群组 Fisher 剪枝

    本文提出了一种通道剪枝的方法，可以应用于各种复杂的结构，包括具有耦合通道的结构，在各种主干网络上进行了大量的实验，证明该方法可以有效地提高推断速度而不影响准确性。同时纳入了 GPU 推断速度关联性比 FLOPs 更高的记忆占用量的考量。

    Aug, 2021

  • PruneNet: 全局重要性通道剪枝

    本文提出了一种简单而有效的基于数据驱动优化的频道修剪方法，该方法通过每层发现必要的宽度，以非均匀修剪 ResNet-50 等深度神经网络，实现了与现有方法相同的 FLOP 降低率，同时提高了 0.98％的准确度，并优于其他深度神经网络如 ResNet-34 和 ResNet-18。

    May, 2020

  • 用于加速非常深的神经网络的通道修剪

    本文提出了一种新的通道剪枝方法，能够加速非常深的卷积神经网络，通过基于 LASSO 回归的通道选择和最小二乘重构的迭代两步算法有效地修剪每一层，进一步推广到多层和多分支情况，剪枝后的 VGG-16 实现了 5 倍速度提升和仅 0.3％误差增加的最新成果，更重要的是，本方法能够加速现代网络，例如 ResNet，Xception，分别在 2 倍加速下只有 1.4％，1.0％的准确度损失，代码已公开出售。

    Jul, 2017

  • 基于通道独立性的紧凑神经网络剪枝方法 CHIP

    本文从跨通道的角度出发，提出了一种基于通道独立度的高效的滤波器剪枝方法，该方法通过减少含有较少有用信息的特征图的数量，从而减小了模型容量，提高了模型的计算和存储效率。实验结果表明，在不影响精度的情况下，该方法可以显著地减小模型大小和 FLOPs 并提高分类精度。

    Oct, 2021

  • 神经网络压缩中的随机通道剪枝再探讨

    该研究采用随机搜索算法确定裁剪神经网络中通道的配置，比较各种方法的表现，结果发现在这种设置下没有明显的优胜者，这倾向于深入研究通道配置搜索方法。

    May, 2022

  • 通过协作压缩实现紧凑的 CNN

    本文提出了一种协同压缩方案，将通道剪枝和张量分解结合起来，通过同时学习模型的稀疏性和低秩性来压缩 CNN 模型。该方法在各个数据集和骨干架构上展示了优越的性能提升，例如在 ImageNet 2012 上，我们通过删除 48.4％的参数从 ResNet-50 模型中达到 52.9％的 FLOPs 减少，仅有 0.56％的 Top-1 准确度降低。

    May, 2021

  • 深度网络的多损失感知通道剪枝

    本文提出了一种新的通道剪枝方法，通过使用基线模型的中间输出和剪枝模型的分类损失来监督分层通道选择，并通过考虑重建误差、附加损失和分类损失来显著提高剪枝模型的性能。

    Feb, 2019

  • 深度神经网络的鉴别感知通道剪枝

    介绍了一种有效的基于鉴别力的通道剪枝方法，利用额外的损失函数增加中间层的鉴别力并根据重构误差和额外损失函数选择最具鉴别力的通道，并提出了一种迭代贪心算法来优化参数和通道选择。对类似于 ILSVRC-12 的测试数据，使用该算法对 ResNet-50 剪枝显示出相当有效的性能。

    Oct, 2018

  • REPrune：通过核心代表选择进行通道修剪

    本文提出了一种新的通道修剪技术 REPrune，利用层次聚类方法在每个通道中识别相似的卷积核，并通过最大化聚类覆盖问题来选择卷积滤波器，结合同时训练和修剪的范式，实现训练过程中的高效修剪，实验结果显示 REPrune 在计算机视觉任务中表现优于现有方法，有效地在加速率和性能保留之间取得平衡。

    Feb, 2024