ECCVNov, 2022

成本约束通道剪枝的软遮罩技术

PDF
TL;DR本研究提出一种新的卷积神经网络通道剪枝方法，采用软化掩码方式剪枝，从而实现网络速度显著加快并限制成本，同时在 ImageNet 分类和 PASCAL VOC 检测数据集上取得了优异的表现。
structured channel pruningconvolution neural networkssoft maskingglobal resource allocationimagenet classification
发现论文，激发创造
  • 运算感知的可微分掩码软通道剪枝

    本论文提出了一种简单而有效的数据驱动信道剪枝算法，该算法通过利用操作的特性以可微分的方式压缩了深度神经网络，并对批次归一化和修正线性单元进行了联合考虑，以评估连接每个特征图的两个连续操作关闭其的可能性并修剪概率高的信道。

    Jul, 2020

  • 网络修剪的剪枝感知稀疏正则化

    本文提出了一种名为 MaskSparsity 的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在 Deep Learning 领域实现 63.03% 的 FLOP 降低和 60.34% 的参数减少。

    Jan, 2022

  • 深度神经网络的鉴别感知通道剪枝

    介绍了一种有效的基于鉴别力的通道剪枝方法，利用额外的损失函数增加中间层的鉴别力并根据重构误差和额外损失函数选择最具鉴别力的通道，并提出了一种迭代贪心算法来优化参数和通道选择。对类似于 ILSVRC-12 的测试数据，使用该算法对 ResNet-50 剪枝显示出相当有效的性能。

    Oct, 2018

  • DMCP：神经网络可微分马尔可夫通道剪枝

    本文提出了一种基于马尔可夫过程的可微信道修剪方法 Differentiable Markov Channel Pruning (DMCP)，它可以通过梯度下降直接优化标准任务损失和预算规则来有效地搜索最优子结构，并可以在各种 FLOPs 设置中实现比现有最优修剪方法更为准确和优秀的结果。

    May, 2020

  • 重新思考卷积层通道剪枝中的小范数低信息量假设

    本文提出一种基于通道修剪的卷积神经网络加速算法，该算法通过端到端随机训练和修剪常量通道的方法得到压缩模型，并在多个图像识别任务上验证了其竞争性能。

    Feb, 2018

  • 全局稀疏约束下神经网络的有效稀疏化

    该研究提出了一种名为 ProbMask 的基于概率空间的有效网络稀疏化方法，通过使用概率作为全局标准来度量权重重要性。 通过我们的约束，可以自动学习权重冗余度，避免为不同层调整剪枝率的问题，表现优异在 CIFAR-10/100 和 ImageNet 等数据集上，尤其是在高剪枝率情况下超过现有的最先进方法。

    May, 2021

  • 针对深度模型压缩的鉴别感知网络裁剪

    该研究介绍了一种简单而有效的方法（称为 DCP），旨在尽可能地选择实际有助于卷积神经网络判别能力的通道，并进一步通过去除多余的内核来压缩深层网络，同时通过自适应停止条件来防止选择冗余的通道 / 内核并实现更好的性能。

    Jan, 2020

  • UPSCALE: 无约束通道剪枝

    神经网络规模和复杂性增加时，推理速度下降。通道剪枝是一种最有效的压缩技术之一，它从权重中删除通道。然而，在模型的多分支部分，通道的删除可能会引入推理时的内存复制。为了解决这个问题，我们提出了一种新的算法 UPSCALE，通过重新排序通道以减少内存复制和去除约束来提高模型性能。该算法在后训练剪枝模型的 ImageNet 准确性上平均提高 2.1 个百分点，并且可提高高出基线导出的推理速度多达 2 倍。

    Jul, 2023

  • 面向嵌入式 GPU 的性能感知卷积神经网络通道剪枝

    本研究旨在通过对卷积神经网络的通道剪枝方法进行优化，以提高在移动和嵌入式设备上的计算效率，虽然有些情况下通道剪枝算法可能会损害计算性能，但是我们还是发现采用基于性能的剪枝会达到预期的效果。

    Feb, 2020

  • 通过生成对抗学习实现最优结构化 CNN 剪枝

    本研究提出了一种基于 GAN 的方法，通过软屏蔽对过滤器和其他结构进行联合裁剪，并在快速迭代阈值算法（FISTA）的帮助下获得更快速和可靠的裁剪。实验证明该方法在不同数据集上都可以获得显著的性能提升。

    Mar, 2019