高效保留模型准确性的自动神经网络剪枝
深度神经网络(DNNs)在各个领域取得了显著的成功。然而,DNNs 中的大量浮点运算(FLOPs)对于在资源受限应用中部署它们提出了挑战。为了解决这个问题,引入了修剪技术来减少执行 DNNs 的计算成本。与以往的修剪方法不同,本文提出了一种类感知的修剪技术来压缩 DNNs,为减少 DNNs 的计算成本提供了一种新的视角。该修剪技术优于以前的修剪解决方案在准确性、修剪比率和 FLOPs 的减少方面。实验结果证实,这种类感知的修剪技术能够显著减少权重和 FLOPs 的数量,同时保持高推理准确度。
Dec, 2023
本文提出了 LayerPrune 框架,相较于传统基于 filter 的剪枝方法,LayerPrune 基于不同的剪枝指标实现了更高的延迟降低,并使用相同的 filter 重要性判定剪枝最不重要的层,较好地平衡了准确率和删除率。
Jul, 2020
本文通过软过度滤波 (SFP) 方法对深度卷积神经网络 (CNN) 推导过程进行了加速优化,通过对模型进行剪枝更新达到了更高的准确性和更高效的训练,这种方法不依赖预训练模型且在 ILSCRC-2012 数据集 ResNet-101 上表现优异。
Aug, 2018
该论文提出了一种新的卷积神经网络滤波器裁剪算法,名为 LeGR,通过产生一组具有不同精度和延迟权衡的卷积神经网络来代替产生一个具有预定义延迟约束的卷积神经网络,且相比于之前的方法,LeGR 可以在保持性能的情况下快 2-3 倍。
Apr, 2019
本文提出了一种基于聚类的卷积核剪枝方法,通过在线将卷积核聚类并比较相似的卷积核,可以安全地剪掉同类的冗余卷积核,实现深度神经网络的加速,实验表明该方法在 CIFAR10 与 CIFAR100 数据集上具有竞争性的性能。
May, 2019
本文提出了一种渐进式软过滤剪枝方法以加速卷积神经网络的推理过程,通过在重新训练阶段更新裁剪过的滤波器并逐渐剪枝来避免信息丢失,实验结果表明,与软过滤剪枝相比,本文提出的方法在 ResNet-50 上将 FLOPs 降低了 40%,但只有 0.14% 的 top-5 准确度下降。
Aug, 2018
本文提出了一种基于滤波器减少方法的 CNNs 加速方法,它不依赖稀疏卷积库,通过移除对输出准确性影响较小的整个滤波器及其连接的特征图,大大降低了计算成本,在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%,并且通过重新训练网络可以接近原始准确性。
Aug, 2016
我们提出了 PruneTrain,这是一种成本高效的机制,可逐步减少训练期间的计算成本,通过使用结构化组套骨骼正则化方法和其他重新配置技术,可以在 GPU 加速器上高效处理缩小了的卷积神经网络模型,从而实现减少计算成本 40%和训练时间 39%的效果。
Jan, 2019
本论文提出了一种用于深度神经网络的训练后权重修剪方法,其在生产环境中能够达到可接受的精度水平,并且足够快速以在桌面 CPU 或边缘设备等通用硬件上运行。该方法针对基于自动生成的合成分形图像的计算机视觉模型的无数据扩展,实现了数据免费的神经网络修剪,并在 ImageNet 数据集上获得了最新的数据免费神经网络修剪结果,对于 50% 的稀疏率下使用 ResNet50 的 top@1 准确率丢失约为 1.5%。在使用真实数据时,能够获得在 8 位精度下稀疏率为 65% 的 ResNet50 模型,而仅准确率下降约为 1%。
Apr, 2021
本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法,该方法同时对 CNN 模型参数进行剪枝和微调,具有自适应剪枝率和可直接指定误差容限等特点,在不损失准确性的情况下,有效减少了 VGG-16 的参数数量和 FLOPS。
May, 2019