Apr, 2023

通过相邻层的过滤器相似度进行滤波剪枝

PDF
TL;DR本研究介绍了一种新的滤波器修剪方法（FSCL）， 它在连续层之间明确利用滤波器之间的相似性来压缩模型，从而剪掉那些在模型中不太重要的特征， 并在多个基准模型和数据集上取得了显着的精度、FLOPs 和参数量减少。
filter pruningconvolutional neural networksfilters similaritycompress modelsimprove accuracy
发现论文，激发创造
  • 特征统计指导的高效滤波器剪枝

    本文提出一种新的滤波器剪枝方法，该方法结合了多个特征图选择机制：多样性感知选择和相似性感知选择，能够有效地减小卷积神经网络的参数大小和浮点运算数，同时几乎不会降低其分类准确度。

    May, 2020

  • 用于卷积神经网络的在线过滤聚类和修剪

    本文提出了一种基于聚类的卷积核剪枝方法，通过在线将卷积核聚类并比较相似的卷积核，可以安全地剪掉同类的冗余卷积核，实现深度神经网络的加速，实验表明该方法在 CIFAR10 与 CIFAR100 数据集上具有竞争性的性能。

    May, 2019

  • 基于相似度的卷积神经网络被动式滤波剪枝压缩方法

    通过 Nyström 近似方法，提出了一种高效的基于相似度的被动滤波器剪枝方法，相比于基于相似度的滤波器剪枝方法，其计算速度快三倍，准确率相同，该方法还表现出与现有基于范数的剪枝方法相似或更好的效果。在 DCASE 2021 任务 1A 基线网络和设计用于声学场景分类的 VGGish 网络等卷积神经网络上评估了该方法的有效性。

    Oct, 2022

  • 探索卷积神经网络压缩中特征图子空间的线性关系

    本研究提出一个基于子空间聚类的卷积神经网络剪枝方法，通过寻找不同特征子空间中的线性关系来消除卷积滤波器中的冗余信息，从而对卷积神经网络实现压缩和加速的目的。经过实验验证，该方法在绝大部分现有方法之前，在微调后实现了最先进的结果。

    Mar, 2018

  • 高效卷积神经网络中的滤波器裁剪

    本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

    Aug, 2016

  • 是滤波剪枝，还是层剪枝，这是一个问题

    本文提出了 LayerPrune 框架，相较于传统基于 filter 的剪枝方法，LayerPrune 基于不同的剪枝指标实现了更高的延迟降低，并使用相同的 filter 重要性判定剪枝最不重要的层，较好地平衡了准确率和删除率。

    Jul, 2020

  • 一种基于被动相似性的卷积神经网络滤波修剪技术，用于高效声学场景分类

    本文介绍了一种开发用于声音场景分类的低复杂度卷积神经网络的方法，其中通过余弦距离算法和 Fine-tuning 过程，将 CNNs 的卷积滤波器数量减少来缩小网络规模，从而提高运行效率并保持高准确性。

    Mar, 2022

  • RePr: 卷积滤波器的改进训练

    研究表明，通过暂时修剪和恢复模型的子集滤波器，反复进行该过程，可以减少所学习特征的重叠，从而提高了模型的泛化能力；而在这种情况下，现有的模型修剪标准并不是选择修剪滤波器的最优策略，因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络，能够提高各种任务的性能，尤其是小型网络的性能。

    Nov, 2018

  • 基于连接的 CNN 架构的迭代滤波剪枝

    基于模型压缩和硬件加速，本研究通过剪枝方法对高度互联的卷积层的连接汇如 YOLOv7 中进行处理，并通过迭代敏感度分析、剪枝和模型微调，显著减少了模型大小，同时保持了可比较的模型准确性。最终将剪枝模型部署到 FPGA 和 NVIDIA Jetson Xavier AGX 上，与未剪枝的模型相比，在卷积层中实现了 2 倍的加速，并在 FPGA 上达到了每秒 14 帧的实时能力。

    May, 2024

  • 通过学习全局排序实现高效模型压缩

    该论文提出了一种新的卷积神经网络滤波器裁剪算法，名为 LeGR，通过产生一组具有不同精度和延迟权衡的卷积神经网络来代替产生一个具有预定义延迟约束的卷积神经网络，且相比于之前的方法，LeGR 可以在保持性能的情况下快 2-3 倍。

    Apr, 2019