Oct, 2022

基于相似度的卷积神经网络被动式滤波剪枝压缩方法

PDF
TL;DR通过 Nyström 近似方法，提出了一种高效的基于相似度的被动滤波器剪枝方法，相比于基于相似度的滤波器剪枝方法，其计算速度快三倍，准确率相同，该方法还表现出与现有基于范数的剪枝方法相似或更好的效果。在 DCASE 2021 任务 1A 基线网络和设计用于声学场景分类的 VGGish 网络等卷积神经网络上评估了该方法的有效性。
convolution neural networkspassive filter pruning methodssimilarity matrixnyström approximation methodcomputational complexity
发现论文，激发创造
  • 被动滤波剪枝提高 CNN 效率

    提出了一种基于运算符范数的被动滤波器修剪方法，通过考虑滤波器在输出中的贡献来裁剪滤波器，相对于现有的主动滤波器修剪方法快 4.5 倍，并且在声音场景分类和图像分类等任务中表现出更好的泛化能力和性能。

    Apr, 2023

  • 一种基于被动相似性的卷积神经网络滤波修剪技术，用于高效声学场景分类

    本文介绍了一种开发用于声音场景分类的低复杂度卷积神经网络的方法，其中通过余弦距离算法和 Fine-tuning 过程，将 CNNs 的卷积滤波器数量减少来缩小网络规模，从而提高运行效率并保持高准确性。

    Mar, 2022

  • 特征统计指导的高效滤波器剪枝

    本文提出一种新的滤波器剪枝方法，该方法结合了多个特征图选择机制：多样性感知选择和相似性感知选择，能够有效地减小卷积神经网络的参数大小和浮点运算数，同时几乎不会降低其分类准确度。

    May, 2020

  • 通过相邻层的过滤器相似度进行滤波剪枝

    本研究介绍了一种新的滤波器修剪方法（FSCL）， 它在连续层之间明确利用滤波器之间的相似性来压缩模型，从而剪掉那些在模型中不太重要的特征， 并在多个基准模型和数据集上取得了显着的精度、FLOPs 和参数量减少。

    Apr, 2023

  • 高效卷积神经网络中的滤波器裁剪

    本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

    Aug, 2016

  • Play and Prune: 适应性滤波剪枝用于深度模型压缩

    本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法，该方法同时对 CNN 模型参数进行剪枝和微调，具有自适应剪枝率和可直接指定误差容限等特点，在不损失准确性的情况下，有效减少了 VGG-16 的参数数量和 FLOPS。

    May, 2019

  • 用于卷积神经网络的在线过滤聚类和修剪

    本文提出了一种基于聚类的卷积核剪枝方法，通过在线将卷积核聚类并比较相似的卷积核，可以安全地剪掉同类的冗余卷积核，实现深度神经网络的加速，实验表明该方法在 CIFAR10 与 CIFAR100 数据集上具有竞争性的性能。

    May, 2019

  • 高效神经网络的可证明滤波裁剪

    本文采用基于采样的方法对超参数化网络中的冗余卷积神经网络滤波器进行识别和剔除，方法可同时进行数据术语构造采样分布并保证压缩后的网络在性能和大小方面有证明保证，适用于不同的网络体系结构和数据集。

    Nov, 2019

  • 基于图中心性的滤波器剪枝压缩音频 CNNs

    通过使用中心性度量方法，提出了一种 CNN 剪枝框架来减少网络中不必要的滤波器数量，从而提高计算和存储效率，实验结果表明，在不损失准确性方面，对于声音场景分类和音频标记，该方法分别可将每次推理的计算量降低 71％和 24％。

    May, 2023

  • 探索卷积神经网络压缩中特征图子空间的线性关系

    本研究提出一个基于子空间聚类的卷积神经网络剪枝方法，通过寻找不同特征子空间中的线性关系来消除卷积滤波器中的冗余信息，从而对卷积神经网络实现压缩和加速的目的。经过实验验证，该方法在绝大部分现有方法之前，在微调后实现了最先进的结果。

    Mar, 2018