Mar, 2024

AutoDFP：通过通道相似重建自动无数据修剪

PDF
TL;DR我们提出了一种自动剪枝和重构的无数据方法（AutoDFP），该方法基于强化学习，通过评估每层通道的相似性来指导网络的剪枝和重构过程，并在多个数据集上实现了令人印象深刻的压缩结果。
structured pruning methodsdata-free methodsautomatic data-free pruning (autodfp)reinforcement learningcompression results
发现论文，激发创造
  • 针对深度模型压缩的鉴别感知网络裁剪

    该研究介绍了一种简单而有效的方法（称为 DCP），旨在尽可能地选择实际有助于卷积神经网络判别能力的通道，并进一步通过去除多余的内核来压缩深层网络，同时通过自适应停止条件来防止选择冗余的通道 / 内核并实现更好的性能。

    Jan, 2020

  • 统一的无数据压缩：剪枝和量化无需微调

    提出了一种名为 Unified Data-Free Compression（UDFC）的新框架，它能够在没有数据和微调过程的情况下同时进行修剪和量化，从而减少神经网络的推理时间和内存占用。在大规模图像分类任务上评估 UDFC，与各种网络架构和压缩方法相比，获得了显著的改进。

    Aug, 2023

  • 深度神经网络的鉴别感知通道剪枝

    介绍了一种有效的基于鉴别力的通道剪枝方法，利用额外的损失函数增加中间层的鉴别力并根据重构误差和额外损失函数选择最具鉴别力的通道，并提出了一种迭代贪心算法来优化参数和通道选择。对类似于 ILSVRC-12 的测试数据，使用该算法对 ResNet-50 剪枝显示出相当有效的性能。

    Oct, 2018

  • PDP: 无需参数的可导修剪就是你所需的

    提出一种高效、有效的训练时裁剪方案 ——Parameter-free Differentiable Pruning（PDP），可适用于各种视觉和自然语言任务，支持无结构裁剪约束，基于训练时动态权重函数生成软裁剪掩码并得到最新的模型大小、精确度和培训成本。

    May, 2023

  • AutoPruner：一种端到端可训练的过滤器剪枝方法，用于高效的深度模型推断

    通过将通道修剪和模型微调合并为单个端到端可训练的系统，使用自动修剪器来找到不重要的滤波器。所生成的真二元指数代码可以安全地删除运用于微调后的模型中。相较于之前的优秀修剪算法，AutoPruner 能够显著提高性能。慢慢擦除几个弱滤波器可以防止模型精度的过度下降。

    May, 2018

  • 一种深层神经网络压缩的新型通道修剪方法

    本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

    May, 2018

  • 特征统计指导的高效滤波器剪枝

    本文提出一种新的滤波器剪枝方法，该方法结合了多个特征图选择机制：多样性感知选择和相似性感知选择，能够有效地减小卷积神经网络的参数大小和浮点运算数，同时几乎不会降低其分类准确度。

    May, 2020

  • 实用网络压缩的群组 Fisher 剪枝

    本文提出了一种通道剪枝的方法，可以应用于各种复杂的结构，包括具有耦合通道的结构，在各种主干网络上进行了大量的实验，证明该方法可以有效地提高推断速度而不影响准确性。同时纳入了 GPU 推断速度关联性比 FLOPs 更高的记忆占用量的考量。

    Aug, 2021

  • 多头注意力自动剪枝

    基于通道相似性和修剪指示器的多头注意力机制自动修剪方法，通过平衡各头通道的移除比例和通道信息的重新加权来降低计算复杂性，并在图像分类任务中表现出超越先前的高效模型和修剪方法的准确性。

    May, 2024

  • 用于压缩卷积神经网络的动态结构剪枝

    本文提出了一种名为动态结构修剪的结构修剪方法，基于组梯度学习实现了细粒度修剪，并在训练深度神经网络时优化修剪粒度，实验结果表明在 ImageNet 数据集上，动态结构修剪对 ResNet50 模型进行修剪可将 FLOPs 降低 71.85% 且不影响模型准确率，并在 GPU 加速方面优于通道修剪。

    Mar, 2023