通过可融合残差卷积块进行深度神经网络的分层剪枝
该论文介绍了一种新的网络剪枝方法,针对边缘计算环境中的深度神经网络中的块剪枝。研究方法采用直接的块移除策略来评估对分类准确性的影响,通过对 CIFAR-10、CIFAR-100 和 ImageNet 数据集以 ResNet 架构进行广泛实验,结果表明该方法在减小模型大小的同时保持高准确性方面的有效性,在网络的大部分被剪枝的情况下,尤其是在 ImageNet 上通过对 ResNet50 的剪枝时,其结果突出了该方法在维持模型大小和性能之间的最佳平衡能力,尤其是在资源有限的边缘计算场景中。
Dec, 2023
本文提出了一种基于滤波器减少方法的 CNNs 加速方法,它不依赖稀疏卷积库,通过移除对输出准确性影响较小的整个滤波器及其连接的特征图,大大降低了计算成本,在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%,并且通过重新训练网络可以接近原始准确性。
Aug, 2016
本研究提出一种新算法 —— 层补偿剪枝,采用元学习来确定更优的解决方案,成功将网络剪枝后的准确度降低到 0.7%,且由 1 小时缩短至 7 分钟的元学习时间可以节省大量资源和时间成本。
Oct, 2018
本文提出了一种新型的卷积神经网络压缩算法,通过利用网络层级复杂性,设计了三种剪枝模式:参数感知型、浮点运算量感知型和内存感知型,以在低功耗设备上实现高效率的模型压缩和加速,并在智能农业,智能医疗和智能工厂等应用中表现出了极高的性能表现。
Aug, 2022
本研究提出了 CURL 方法,通过 KL-divergence 标准对残差连接内外的通道进行修剪,并使用知识蒸馏和标签细化方法解决了有限数据和标签噪声带来的问题,在 ImageNet 数据集上显著优于之前的最先进方法,同时在小数据集上修剪时,与预训练的小模型微调效果相当甚至更好。
Nov, 2019
我们提出了一种在神经网络早期训练阶段识别和消除不相关层的算法。与权重或滤波器层剪枝相比,层剪枝能够减少神经网络中更难并行计算的顺序计算。我们采用了一种结构,在非线性网络部分周围使用剩余连接,使非线性部分进行剪枝后仍然能够在网络中传递信息。我们的方法基于变分推断原理,在神经网络权重上使用高斯规模混合先验,从而在训练和推理过程中实现大幅成本节省。该算法在 MNIST、CIFAR-10 和 ImageNet 数据集以及常见的 LeNet、VGG16 和 ResNet 架构上进行了评估,模拟实验结果表明,由于并行训练和剪枝,我们的方法在层剪枝方面以较低的计算成本实现了最先进的性能。
Jun, 2024
基于模型压缩和硬件加速,本研究通过剪枝方法对高度互联的卷积层的连接汇如 YOLOv7 中进行处理,并通过迭代敏感度分析、剪枝和模型微调,显著减少了模型大小,同时保持了可比较的模型准确性。最终将剪枝模型部署到 FPGA 和 NVIDIA Jetson Xavier AGX 上,与未剪枝的模型相比,在卷积层中实现了 2 倍的加速,并在 FPGA 上达到了每秒 14 帧的实时能力。
May, 2024
本文提出了一种基于聚类的卷积核剪枝方法,通过在线将卷积核聚类并比较相似的卷积核,可以安全地剪掉同类的冗余卷积核,实现深度神经网络的加速,实验表明该方法在 CIFAR10 与 CIFAR100 数据集上具有竞争性的性能。
May, 2019
本文提出了 LayerPrune 框架,相较于传统基于 filter 的剪枝方法,LayerPrune 基于不同的剪枝指标实现了更高的延迟降低,并使用相同的 filter 重要性判定剪枝最不重要的层,较好地平衡了准确率和删除率。
Jul, 2020
该论文提出了一种通过消除冗余特征(或滤波器)来修剪深度和 / 或宽度卷积神经网络模型的高效技术,其依据特征空间中的相对余弦距离区分它们和它们的连接特征映射并优化精度和推理性能,但优化后的算法能将 VGG-16 的推理成本降低 40%、ResNet-56 的推理成本降低 27%、ResNet-110 的推理成本减少 39%。
Feb, 2018