本文提出了一种基于遗传算法的新型通道剪枝方法,通过分层和知识蒸馏框架的剪枝中,显著降低了模型的冗余,并在三个基准数据集上验证其性能。
May, 2018
本研究提出了一种基于 GAN 的方法,通过软屏蔽对过滤器和其他结构进行联合裁剪,并在快速迭代阈值算法(FISTA)的帮助下获得更快速和可靠的裁剪。实验证明该方法在不同数据集上都可以获得显著的性能提升。
Mar, 2019
本研究提出了一种基于子网络的多目标进化算法用于卷积神经网络过滤器裁剪,通过逐步组合卷积层裁剪,可以在保持更好性能的同时得到轻量化的裁剪结果。
Oct, 2022
本研究提出了一种学习算法,使用数据驱动的方式训练剪枝代理,利用奖励函数去除不必要的卷积神经网络滤波器,从而简化并加速 CNN,并且在维持性能的情况下去除重复权重,减少计算资源消耗,该方法提供了一种易于控制网络性能和规模之间平衡的方法,并通过对多个流行的 CNN 对视觉识别和语义分割任务进行广泛的剪枝实验进行了验证。
Jan, 2018
本文提出了一种新的计划性生长和修剪(GaP)方法,通过重复生长图层子集并在一定训练后将它们修剪回稀疏状态,以减少计算和内存成本,同时保持模型质量。实验结果表明,该方法获得的稀疏模型在各种任务中的性能都优于先前最先进的算法,并且无需预训练密集模型即可获得高质量的结果。
Jun, 2021
本文提出了一种基于滤波器减少方法的 CNNs 加速方法,它不依赖稀疏卷积库,通过移除对输出准确性影响较小的整个滤波器及其连接的特征图,大大降低了计算成本,在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%,并且通过重新训练网络可以接近原始准确性。
Aug, 2016
本文提出了 Continuous Growth and Pruning (CGaP) 方法,旨在在训练模型期间最小化冗余并从一开始便避免引入冗余,通过持续增长和修剪过程获取紧凑和准确的模型。根据实验结果,在代表性数据集和 DNN 结构上,CGaP 的效果优于以前的仅修剪预定义结构的方法,达到了参数减少 78.9%和 85.8%,FLOPs(浮点计算数)减少 53.2%和 74.2%。
May, 2019
通过图形排序的遗传算法,我们开发了一种针对卷积神经网络的层融合技术,减少了边缘平台上的数据传输,从而提高了能效和能延迟乘积(EDP),在类似 SIMBA 移动架构上的 MobileNet-v3 中实现了 1.8 倍的能效提升和 1.9 倍的 EDP 改善。我们的方法对 SIMBA 平台和 Eyeriss 平台的工作负载性能一致改善,平均 EDP 改善 1.4 倍和 1.12 倍。
Nov, 2023
本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法,该方法同时对 CNN 模型参数进行剪枝和微调,具有自适应剪枝率和可直接指定误差容限等特点,在不损失准确性的情况下,有效减少了 VGG-16 的参数数量和 FLOPS。
本文提出了一种新型的卷积神经网络压缩算法,通过利用网络层级复杂性,设计了三种剪枝模式:参数感知型、浮点运算量感知型和内存感知型,以在低功耗设备上实现高效率的模型压缩和加速,并在智能农业,智能医疗和智能工厂等应用中表现出了极高的性能表现。
Aug, 2022