CVPRNov, 2018

基于几何中位数的卷积神经网络滤波剪枝加速

PDF
TL;DR通过数学中介数理论给出了一种新的滤波器压缩方法 FPGM，该方法完全不受 “小范数” 原则的限制，不仅能够压缩 CNN 模型，而且还能提高相对精度。
filter pruningconvolutional neural networkmodel compressionfpgmaccuracy improvement
发现论文，激发创造
  • 使用几何中值准则对轻量级人脸检测器进行滤波修剪

    本文通过在两种已经小巧而紧凑的人脸检测器上实现了滤波剪枝，名为 EXTD（极小型人脸检测器）和 EResFD（高效 ResNet 人脸检测器）。利用几何中位数（FPGM）的滤波剪枝主要算法，结合软滤波剪枝（SFP）的迭代过程。此外，我们还应用 L1 范数剪枝作为与所提出方法进行比较的基准。在 WIDER FACE 数据集上的实验评估表明，所提出的方法在不损失模型准确性的情况下，甚至可以在低剪枝速率下进一步减小已经轻量级的人脸检测器的模型大小。

    Nov, 2023

  • 通过学习全局排序实现高效模型压缩

    该论文提出了一种新的卷积神经网络滤波器裁剪算法，名为 LeGR，通过产生一组具有不同精度和延迟权衡的卷积神经网络来代替产生一个具有预定义延迟约束的卷积神经网络，且相比于之前的方法，LeGR 可以在保持性能的情况下快 2-3 倍。

    Apr, 2019

  • 被动滤波剪枝提高 CNN 效率

    提出了一种基于运算符范数的被动滤波器修剪方法，通过考虑滤波器在输出中的贡献来裁剪滤波器，相对于现有的主动滤波器修剪方法快 4.5 倍，并且在声音场景分类和图像分类等任务中表现出更好的泛化能力和性能。

    Apr, 2023

  • REPrune: 通过代表选举进行滤波裁剪

    本研究提出一种名为 REPrune 的新颖剪枝方法，通过聚类选择代表性滤波器，从而获得更好的压缩率并提高精度。实验证明，REPrune 方法可以在保持相似精度的情况下，减少 49% 的 FLOPs。

    Jul, 2020

  • 特征统计指导的高效滤波器剪枝

    本文提出一种新的滤波器剪枝方法，该方法结合了多个特征图选择机制：多样性感知选择和相似性感知选择，能够有效地减小卷积神经网络的参数大小和浮点运算数，同时几乎不会降低其分类准确度。

    May, 2020

  • Gate Decorator: 全局过滤剪枝方法用于加速深度卷积神经网络

    本文提出了一种名为 Gate Decorator 的全局滤波器剪枝算法，该算法通过乘以通道缩放因子来转换卷积神经网络模块，并使用 Taylor 展开估算剪枝后的损失函数变化并使用估值进行全局滤波器重要性排序，然后通过删除无关紧要的滤波器来剪枝网络，并且通过迭代剪枝框架 Tick-Tock 提高准确性，实验证明该方法的有效性。

    Sep, 2019

  • 高效卷积神经网络中的滤波器裁剪

    本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

    Aug, 2016

  • 深度卷积神经网络加速的软性过滤裁剪

    本文通过软过度滤波 (SFP) 方法对深度卷积神经网络 (CNN) 推导过程进行了加速优化，通过对模型进行剪枝更新达到了更高的准确性和更高效的训练，这种方法不依赖预训练模型且在 ILSCRC-2012 数据集 ResNet-101 上表现优异。

    Aug, 2018

  • 健壮数据剪枝的几何中位数匹配

    提出一种基于几何中位数匹配的全新数据修剪方法，通过选择近似几何中位数的子集来改善神经网络在存在噪声和腐败的情况下的剪枝效果，并在大量实验证明该方法在数据修剪方面表现优于现有方法。

    Jun, 2024

  • 用于卷积神经网络的在线过滤聚类和修剪

    本文提出了一种基于聚类的卷积核剪枝方法，通过在线将卷积核聚类并比较相似的卷积核，可以安全地剪掉同类的冗余卷积核，实现深度神经网络的加速，实验表明该方法在 CIFAR10 与 CIFAR100 数据集上具有竞争性的性能。

    May, 2019