CVPRApr, 2019

通过学习全局排序实现高效模型压缩

PDF
TL;DR该论文提出了一种新的卷积神经网络滤波器裁剪算法，名为 LeGR，通过产生一组具有不同精度和延迟权衡的卷积神经网络来代替产生一个具有预定义延迟约束的卷积神经网络，且相比于之前的方法，LeGR 可以在保持性能的情况下快 2-3 倍。
convnetsfilter pruningmodel compressionaccuracy/latency trade-offslegr
发现论文，激发创造
  • 面向资源受限的卷积神经网络的分层补偿剪枝

    本研究提出一种新算法 —— 层补偿剪枝，采用元学习来确定更优的解决方案，成功将网络剪枝后的准确度降低到 0.7%，且由 1 小时缩短至 7 分钟的元学习时间可以节省大量资源和时间成本。

    Oct, 2018

  • 高效卷积神经网络中的滤波器裁剪

    本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

    Aug, 2016

  • 是滤波剪枝，还是层剪枝，这是一个问题

    本文提出了 LayerPrune 框架，相较于传统基于 filter 的剪枝方法，LayerPrune 基于不同的剪枝指标实现了更高的延迟降低，并使用相同的 filter 重要性判定剪枝最不重要的层，较好地平衡了准确率和删除率。

    Jul, 2020

  • 复杂度驱动的卷积神经网络压缩技术：面向资源受限的边缘人工智能

    本文提出了一种新型的卷积神经网络压缩算法，通过利用网络层级复杂性，设计了三种剪枝模式：参数感知型、浮点运算量感知型和内存感知型，以在低功耗设备上实现高效率的模型压缩和加速，并在智能农业，智能医疗和智能工厂等应用中表现出了极高的性能表现。

    Aug, 2022

  • 高效保留模型准确性的自动神经网络剪枝

    本文提出一种自动修剪方法来减少神经网络中的 FLOPs，该方法通过引入可训练瓶颈来学习哪些神经元需要被保留以保持模型准确性，实验证明，该方法可以在保持模型准确性的前提下显著减少模型的 FLOPs。

    Nov, 2021

  • Gate Decorator: 全局过滤剪枝方法用于加速深度卷积神经网络

    本文提出了一种名为 Gate Decorator 的全局滤波器剪枝算法，该算法通过乘以通道缩放因子来转换卷积神经网络模块，并使用 Taylor 展开估算剪枝后的损失函数变化并使用估值进行全局滤波器重要性排序，然后通过删除无关紧要的滤波器来剪枝网络，并且通过迭代剪枝框架 Tick-Tock 提高准确性，实验证明该方法的有效性。

    Sep, 2019

  • Beta-Rank: 一种用于不平衡医学图像分析的强大卷积滤波器剪枝方法

    这篇论文提出了一种新的滤波器剪枝方法，它能够有效地减少深度神经网络所需要的计算资源，同时通过与其他方法的比较和在医学数据集和智能手机应用程序上尝试验证，表明本文提出的方法表现得更好。

    Apr, 2023

  • 用于卷积神经网络的在线过滤聚类和修剪

    本文提出了一种基于聚类的卷积核剪枝方法，通过在线将卷积核聚类并比较相似的卷积核，可以安全地剪掉同类的冗余卷积核，实现深度神经网络的加速，实验表明该方法在 CIFAR10 与 CIFAR100 数据集上具有竞争性的性能。

    May, 2019

  • Play and Prune: 适应性滤波剪枝用于深度模型压缩

    本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法，该方法同时对 CNN 模型参数进行剪枝和微调，具有自适应剪枝率和可直接指定误差容限等特点，在不损失准确性的情况下，有效减少了 VGG-16 的参数数量和 FLOPS。

    May, 2019

  • 一种基于熵的 CNN 压缩剪枝方法

    本研究提出了一种基于熵的滤波器重要性评估方法，使用该方法来加速和压缩现有的卷积神经网络模型，并通过对过滤器进行快速修剪和精细调整来优化模型的计算性能和泛化能力，以在 ILSVRC-12 基准测试中取得了良好的性能表现，能够在不牺牲模型精度情况下将模型压缩大约 16.64 倍。

    Jun, 2017