May, 2018

AutoPruner：一种端到端可训练的过滤器剪枝方法，用于高效的深度模型推断

PDF
TL;DR通过将通道修剪和模型微调合并为单个端到端可训练的系统，使用自动修剪器来找到不重要的滤波器。所生成的真二元指数代码可以安全地删除运用于微调后的模型中。相较于之前的优秀修剪算法，AutoPruner 能够显著提高性能。慢慢擦除几个弱滤波器可以防止模型精度的过度下降。
发现论文，激发创造
  • 深度神经网络的鉴别感知通道剪枝

    介绍了一种有效的基于鉴别力的通道剪枝方法，利用额外的损失函数增加中间层的鉴别力并根据重构误差和额外损失函数选择最具鉴别力的通道，并提出了一种迭代贪心算法来优化参数和通道选择。对类似于 ILSVRC-12 的测试数据，使用该算法对 ResNet-50 剪枝显示出相当有效的性能。

    Oct, 2018

  • 自动结构搜索通道剪枝

    本研究提出了一种基于人工蜂群算法的新型通道剪枝方法，名为 ABCPruner，通过优化每一层的通道数量来寻找最优的剪枝结构，相比于以往的方法，该方法能够有效地减少剪枝结构的组合数量并且更加高效。

    Jan, 2020

  • 多头注意力自动剪枝

    基于通道相似性和修剪指示器的多头注意力机制自动修剪方法，通过平衡各头通道的移除比例和通道信息的重新加权来降低计算复杂性，并在图像分类任务中表现出超越先前的高效模型和修剪方法的准确性。

    May, 2024

  • 深度网络的多损失感知通道剪枝

    本文提出了一种新的通道剪枝方法，通过使用基线模型的中间输出和剪枝模型的分类损失来监督分层通道选择，并通过考虑重建误差、附加损失和分类损失来显著提高剪枝模型的性能。

    Feb, 2019

  • PruneNet: 全局重要性通道剪枝

    本文提出了一种简单而有效的基于数据驱动优化的频道修剪方法，该方法通过每层发现必要的宽度，以非均匀修剪 ResNet-50 等深度神经网络，实现了与现有方法相同的 FLOP 降低率，同时提高了 0.98％的准确度，并优于其他深度神经网络如 ResNet-34 和 ResNet-18。

    May, 2020

  • REPrune：通过核心代表选择进行通道修剪

    本文提出了一种新的通道修剪技术 REPrune，利用层次聚类方法在每个通道中识别相似的卷积核，并通过最大化聚类覆盖问题来选择卷积滤波器，结合同时训练和修剪的范式，实现训练过程中的高效修剪，实验结果显示 REPrune 在计算机视觉任务中表现优于现有方法，有效地在加速率和性能保留之间取得平衡。

    Feb, 2024

  • 开箱即用的通道裁剪网络

    本文探讨了基于随机或基于度量的通道剪枝策略以及使用强化学习寻找可转移的层面剪枝策略，结果表明后者能够将剪枝策略应用于新数据集并获得压缩的同时保持精度。

    Apr, 2020

  • AutoDFP：通过通道相似重建自动无数据修剪

    我们提出了一种自动剪枝和重构的无数据方法（AutoDFP），该方法基于强化学习，通过评估每层通道的相似性来指导网络的剪枝和重构过程，并在多个数据集上实现了令人印象深刻的压缩结果。

    Mar, 2024

  • 重新思考卷积层通道剪枝中的小范数低信息量假设

    本文提出一种基于通道修剪的卷积神经网络加速算法，该算法通过端到端随机训练和修剪常量通道的方法得到压缩模型，并在多个图像识别任务上验证了其竞争性能。

    Feb, 2018

  • MetaPruning：用于自动神经网络通道剪枝的元学习

    本文提出了一种基于元学习的通道自动剪枝方法。首先使用简单的随机结构采样方法训练一个 PruningNet 元网络，然后应用演化搜索方法寻找良好表现的剪枝网络，其效率高且无需在线微调。实验结果表明，相比现有的剪枝方法，该方法在 MobileNet V1/V2 和 ResNet 等模型上有着更好的性能表现。

    Mar, 2019