May, 2023

基于图中心性的滤波器剪枝压缩音频 CNNs

PDF
TL;DR通过使用中心性度量方法，提出了一种 CNN 剪枝框架来减少网络中不必要的滤波器数量，从而提高计算和存储效率，实验结果表明，在不损失准确性方面，对于声音场景分类和音频标记，该方法分别可将每次推理的计算量降低 71％和 24％。
convolutional neural networkspruningcommonalitycentralityaudio classification
发现论文，激发创造
  • 高效卷积神经网络中的滤波器裁剪

    本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

    Aug, 2016

  • 一种基于被动相似性的卷积神经网络滤波修剪技术，用于高效声学场景分类

    本文介绍了一种开发用于声音场景分类的低复杂度卷积神经网络的方法，其中通过余弦距离算法和 Fine-tuning 过程，将 CNNs 的卷积滤波器数量减少来缩小网络规模，从而提高运行效率并保持高准确性。

    Mar, 2022

  • Play and Prune: 适应性滤波剪枝用于深度模型压缩

    本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法，该方法同时对 CNN 模型参数进行剪枝和微调，具有自适应剪枝率和可直接指定误差容限等特点，在不损失准确性的情况下，有效减少了 VGG-16 的参数数量和 FLOPS。

    May, 2019

  • 高效神经网络的可证明滤波裁剪

    本文采用基于采样的方法对超参数化网络中的冗余卷积神经网络滤波器进行识别和剔除，方法可同时进行数据术语构造采样分布并保证压缩后的网络在性能和大小方面有证明保证，适用于不同的网络体系结构和数据集。

    Nov, 2019

  • 被动滤波剪枝提高 CNN 效率

    提出了一种基于运算符范数的被动滤波器修剪方法，通过考虑滤波器在输出中的贡献来裁剪滤波器，相对于现有的主动滤波器修剪方法快 4.5 倍，并且在声音场景分类和图像分类等任务中表现出更好的泛化能力和性能。

    Apr, 2023

  • 卷积神经网络结构冗余减少的剪枝

    本文提出了一种卷积神经网络的结构冗余剪枝方法，通过在最具有结构冗余性的层剪枝，可以相对于之前研究集中在去除不重要滤波器的方法，更有效地压缩网络架构，并在不同的基准模型和数据集上获得了显著优越的表现

    Apr, 2021

  • 一种基于熵的 CNN 压缩剪枝方法

    本研究提出了一种基于熵的滤波器重要性评估方法，使用该方法来加速和压缩现有的卷积神经网络模型，并通过对过滤器进行快速修剪和精细调整来优化模型的计算性能和泛化能力，以在 ILSVRC-12 基准测试中取得了良好的性能表现，能够在不牺牲模型精度情况下将模型压缩大约 16.64 倍。

    Jun, 2017

  • 卷积神经网络过滤器剪枝学习

    本研究提出了一种学习算法，使用数据驱动的方式训练剪枝代理，利用奖励函数去除不必要的卷积神经网络滤波器，从而简化并加速 CNN，并且在维持性能的情况下去除重复权重，减少计算资源消耗，该方法提供了一种易于控制网络性能和规模之间平衡的方法，并通过对多个流行的 CNN 对视觉识别和语义分割任务进行广泛的剪枝实验进行了验证。

    Jan, 2018

  • 通过压缩解释卷积神经网络

    本文探讨了压缩和特别是修剪滤波器在解释卷积神经网络中的作用，并通过 CAR 压缩算法，演示了修剪具有视觉冗余模式选择性的滤波器的可解释性。作者比较了 AlexNet 的前 20 个 CAR 修剪滤波器的颜色选择性和形状选择性，并引入了一个量化每个图像类对 CNN 滤波器的重要性的 CAR 重要性指数，最后发现对每个 CNN 滤波器最重要和不重要的类标签提供了与该滤波器的可视化模式选择性一致的有意义的解释。

    Nov, 2017

  • 基于相似度的卷积神经网络被动式滤波剪枝压缩方法

    通过 Nyström 近似方法，提出了一种高效的基于相似度的被动滤波器剪枝方法，相比于基于相似度的滤波器剪枝方法，其计算速度快三倍，准确率相同，该方法还表现出与现有基于范数的剪枝方法相似或更好的效果。在 DCASE 2021 任务 1A 基线网络和设计用于声学场景分类的 VGGish 网络等卷积神经网络上评估了该方法的有效性。

    Oct, 2022