May, 2024

基于连接的CNN架构的迭代滤波剪枝

HTML
PDF
TL;DR基于模型压缩和硬件加速，本研究通过剪枝方法对高度互联的卷积层的连接汇如YOLOv7中进行处理，并通过迭代敏感度分析、剪枝和模型微调，显著减少了模型大小，同时保持了可比较的模型准确性。最终将剪枝模型部署到FPGA和NVIDIA Jetson Xavier AGX上，与未剪枝的模型相比，在卷积层中实现了2倍的加速，并在FPGA上达到了每秒14帧的实时能力。
发现论文，激发创造
  • 高效卷积神经网络中的滤波器裁剪

    本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

    Aug, 2016

  • 具有粗糙剪枝的紧凑卷积神经网络

    通过对特征图和卷积核级别进行修剪，可以减少深度卷积神经网络的计算复杂性，而且在CIFAR-10数据集上的实验证明，在保持基线网络误分类率不到1%的情况下，可以在卷积层中引入超过85%的稀疏性。

    Oct, 2016

  • 卷积神经网络的加速器感知剪枝

    在嵌入式环境中，卷积神经网络因其过多的权重存储和算术运算而未能得到广泛应用，为解决这一问题，本文提出了一种新的修剪方案，以反映加速器架构，通过此方案，性能得到了大幅提升，并成功应用于AlexNet，VGG16，ResNet，MobileNet等多种网络模型。

    Apr, 2018

  • 深度卷积神经网络加速的软性过滤裁剪

    本文通过软过度滤波(SFP)方法对深度卷积神经网络(CNN)推导过程进行了加速优化，通过对模型进行剪枝更新达到了更高的准确性和更高效的训练，这种方法不依赖预训练模型且在ILSCRC-2012数据集ResNet-101上表现优异。

    Aug, 2018

  • 通过生成对抗学习实现最优结构化CNN剪枝

    本研究提出了一种基于GAN的方法，通过软屏蔽对过滤器和其他结构进行联合裁剪，并在快速迭代阈值算法（FISTA）的帮助下获得更快速和可靠的裁剪。实验证明该方法在不同数据集上都可以获得显著的性能提升。

    Mar, 2019

  • Play and Prune: 适应性滤波剪枝用于深度模型压缩

    本文提出了基于最小-最大框架的卷积神经网络滤波器级别剪枝方法，该方法同时对CNN模型参数进行剪枝和微调，具有自适应剪枝率和可直接指定误差容限等特点，在不损失准确性的情况下，有效减少了VGG-16的参数数量和FLOPS。

    May, 2019

  • 用于CNN宽度优化的近似Oracle滤波消减

    本文提出了一种名为 Approximated Oracle Filter Pruning（AOFP）的滤波器裁剪方法，其可以自动化找到卷积神经网络中最不重要的滤波器，同时支持同时对多个层进行修剪，能够在可接受的时间成本内修剪现有的非常深的卷积神经网络，没有启发式知识，或重新设计一个具有更高准确性和更快推断的模型。

    May, 2019

  • 面向嵌入式GPU的性能感知卷积神经网络通道剪枝

    本研究旨在通过对卷积神经网络的通道剪枝方法进行优化，以提高在移动和嵌入式设备上的计算效率，虽然有些情况下通道剪枝算法可能会损害计算性能，但是我们还是发现采用基于性能的剪枝会达到预期的效果。

    Feb, 2020

  • 利用自适应滤波器表示来改善稀疏CNN训练的空间修剪

    本文提出了一种新的卷积神经网络剪枝方法 interspace pruning (IP)，通过自适应滤波器基础 (FB) 的线性组合，将过滤器表示为动态间隙，从而在高稀疏度的情况下有效地减少CNNs 的内存占用和提高了训练和泛化能力，优于传统的 unstructured pruning (SP) 方法。

    Mar, 2022

  • RL-Pruner：基于强化学习的卷积神经网络结构化剪枝与加速

    本研究解决了卷积神经网络压缩与加速中的结构化剪枝问题，通过引入强化学习，自动学习最佳剪枝分布，从而在保持模型准确性的同时，实现更高效的模型压缩。实验结果表明，RL-Pruner在多种网络模型上表现优异，为神经网络的部署与应用提供了重要的价值。

    Nov, 2024