Apr, 2023

渐进式通道收缩网络

PDF
TL;DR本文提出了一种逐步通道压缩（PCS）方法，以在运行时动态压缩选定的显著度条目，代替粗略地将它们近似为零。并提出一种运行缩小策略，提供一种测试静态的修剪方案，可以减少滤波器索引的内存访问成本，结果表明 PCS 在图像分类任务中超越了所有基线，并在压缩性能平衡方面（tradeoff）达到了最新的性能，实现了显著的推理加速。
network compressionsalience-based channel pruningprogressive channel-shrinkinginference accelerationmemory access cost
发现论文，激发创造
  • 使用注意力统计方法剪枝通道的深度神经网络压缩技术 PCAS

    本研究提出了一种基于注意统计的简单通道剪枝技术，使用单个压缩比替代每层模型的分析，实现了自动通道选择，取得了超越常规方法的性能提升，训练不同模型和数据集的结果表明该方法减少了计算成本且更加准确。

    Jun, 2018

  • 基于梯度流的深度学习模型压缩中的显著性探究

    本文提出一种基于梯度流的模型修剪方法，综合考虑 BN 和 ReLU 层后的卷积操作对整个特征映射的影响，采用 BN 层中的一阶泰勒多项式标识神经元的重要程度，该方法在图像分类和去噪任务上取得了良好的性能表现。

    Oct, 2021

  • 深度网络的多损失感知通道剪枝

    本文提出了一种新的通道剪枝方法，通过使用基线模型的中间输出和剪枝模型的分类损失来监督分层通道选择，并通过考虑重建误差、附加损失和分类损失来显著提高剪枝模型的性能。

    Feb, 2019

  • 一种深层神经网络压缩的新型通道修剪方法

    本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

    May, 2018

  • 深度神经网络的鉴别感知通道剪枝

    介绍了一种有效的基于鉴别力的通道剪枝方法，利用额外的损失函数增加中间层的鉴别力并根据重构误差和额外损失函数选择最具鉴别力的通道，并提出了一种迭代贪心算法来优化参数和通道选择。对类似于 ILSVRC-12 的测试数据，使用该算法对 ResNet-50 剪枝显示出相当有效的性能。

    Oct, 2018

  • PruneNet: 全局重要性通道剪枝

    本文提出了一种简单而有效的基于数据驱动优化的频道修剪方法，该方法通过每层发现必要的宽度，以非均匀修剪 ResNet-50 等深度神经网络，实现了与现有方法相同的 FLOP 降低率，同时提高了 0.98％的准确度，并优于其他深度神经网络如 ResNet-34 和 ResNet-18。

    May, 2020

  • 用于压缩卷积神经网络的动态结构剪枝

    本文提出了一种名为动态结构修剪的结构修剪方法，基于组梯度学习实现了细粒度修剪，并在训练深度神经网络时优化修剪粒度，实验结果表明在 ImageNet 数据集上，动态结构修剪对 ResNet50 模型进行修剪可将 FLOPs 降低 71.85% 且不影响模型准确率，并在 GPU 加速方面优于通道修剪。

    Mar, 2023

  • 针对深度模型压缩的鉴别感知网络裁剪

    该研究介绍了一种简单而有效的方法（称为 DCP），旨在尽可能地选择实际有助于卷积神经网络判别能力的通道，并进一步通过去除多余的内核来压缩深层网络，同时通过自适应停止条件来防止选择冗余的通道 / 内核并实现更好的性能。

    Jan, 2020

  • UPSCALE: 无约束通道剪枝

    神经网络规模和复杂性增加时，推理速度下降。通道剪枝是一种最有效的压缩技术之一，它从权重中删除通道。然而，在模型的多分支部分，通道的删除可能会引入推理时的内存复制。为了解决这个问题，我们提出了一种新的算法 UPSCALE，通过重新排序通道以减少内存复制和去除约束来提高模型性能。该算法在后训练剪枝模型的 ImageNet 准确性上平均提高 2.1 个百分点，并且可提高高出基线导出的推理速度多达 2 倍。

    Jul, 2023

  • 实用网络压缩的群组 Fisher 剪枝

    本文提出了一种通道剪枝的方法，可以应用于各种复杂的结构，包括具有耦合通道的结构，在各种主干网络上进行了大量的实验，证明该方法可以有效地提高推断速度而不影响准确性。同时纳入了 GPU 推断速度关联性比 FLOPs 更高的记忆占用量的考量。

    Aug, 2021