Feb, 2023

WHC: 卷积神经网络滤波器裁剪中的加权混合准则

PDF
TL;DR本文提出了一种基于权重的混合准则并解决了基于范数和关系的标准的限制问题，以识别冗余的卷积滤波器并在不引入严重性能降低的情况下进行剪枝，可以在 ImageNet 上对 ResNet-50 进行剪枝，减少了超过 42％的浮点操作而不会损失 top-5 准确性。
filter pruningconvolutional neural networksweighted hybrid criterionredundant filtersperformance degradation
发现论文，激发创造
  • 通过解释剪枝：一种用于深度神经网络剪枝的新标准

    本文提出了一种基于可解释性人工智能概念的 CNN 剪枝方法，通过自动寻找最相关的权重或过滤器，不需要人工调节超参数即可高效压缩模型，而且在具有资源约束的情况下表现更优，适用于计算机视觉领域的任务。

    Dec, 2019

  • 被动滤波剪枝提高 CNN 效率

    提出了一种基于运算符范数的被动滤波器修剪方法，通过考虑滤波器在输出中的贡献来裁剪滤波器，相对于现有的主动滤波器修剪方法快 4.5 倍，并且在声音场景分类和图像分类等任务中表现出更好的泛化能力和性能。

    Apr, 2023

  • RePr: 卷积滤波器的改进训练

    研究表明，通过暂时修剪和恢复模型的子集滤波器，反复进行该过程，可以减少所学习特征的重叠，从而提高了模型的泛化能力；而在这种情况下，现有的模型修剪标准并不是选择修剪滤波器的最优策略，因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络，能够提高各种任务的性能，尤其是小型网络的性能。

    Nov, 2018

  • 高效卷积神经网络中的滤波器裁剪

    本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

    Aug, 2016

  • 剪枝卷积神经网络以实现高效推理

    提出了一种新的神经网络卷积核剪枝方法，通过 Taylor 扩展来近似剪枝参数变化引起的代价函数的改变，并结合反向传播的微调来保持剪枝网络的良好泛化性能，该方法在细粒度分类任务中表现出优异的性能。

    Nov, 2016

  • 滤波器中的剪枝滤波器

    本文提出了一种名为 SWP 的，基于 stripes 的滤波器修剪方法，该方法实现了高精度压缩和加速现代神经网络，大大提高了传统滤波器修剪方法的硬件友好性和压缩比，并通过 CIFAR-10 和 ImageNet 数据集的实验表明了其卓越的火炬率和准确度。

    Sep, 2020

  • 特征统计指导的高效滤波器剪枝

    本文提出一种新的滤波器剪枝方法，该方法结合了多个特征图选择机制：多样性感知选择和相似性感知选择，能够有效地减小卷积神经网络的参数大小和浮点运算数，同时几乎不会降低其分类准确度。

    May, 2020

  • HRank：使用高阶特征图进行滤波器剪枝

    本文主要介绍了一种基于高级别特征的神经网络剪枝算法，该算法通过数学方法确定剪枝规则并优化低级别特征的剪枝效率，达到了减少 FLOPs 和参数数量的效果，而且即使未更新的高级别特征权重对整体性能影响也很小。

    Feb, 2020

  • 用于卷积神经网络的在线过滤聚类和修剪

    本文提出了一种基于聚类的卷积核剪枝方法，通过在线将卷积核聚类并比较相似的卷积核，可以安全地剪掉同类的冗余卷积核，实现深度神经网络的加速，实验表明该方法在 CIFAR10 与 CIFAR100 数据集上具有竞争性的性能。

    May, 2019

  • 深度卷积神经网络的可塑性：从随机修剪中恢复

    本文研究深度卷积神经网络滤波器修剪方法，通过检验实验证明，我们使用随机滤波器修剪策略能够获得接近最先进修剪方法的性能，同时在图像分类和目标检测中均能实现显著的加速。

    Jan, 2018