通过 Nyström 近似方法,提出了一种高效的基于相似度的被动滤波器剪枝方法,相比于基于相似度的滤波器剪枝方法,其计算速度快三倍,准确率相同,该方法还表现出与现有基于范数的剪枝方法相似或更好的效果。在 DCASE 2021 任务 1A 基线网络和设计用于声学场景分类的 VGGish 网络等卷积神经网络上评估了该方法的有效性。
Oct, 2022
本文提出了一种基于滤波器减少方法的 CNNs 加速方法,它不依赖稀疏卷积库,通过移除对输出准确性影响较小的整个滤波器及其连接的特征图,大大降低了计算成本,在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%,并且通过重新训练网络可以接近原始准确性。
Aug, 2016
本文提出一种新的滤波器剪枝方法,该方法结合了多个特征图选择机制:多样性感知选择和相似性感知选择,能够有效地减小卷积神经网络的参数大小和浮点运算数,同时几乎不会降低其分类准确度。
May, 2020
本文提出了一种基于聚类的卷积核剪枝方法,通过在线将卷积核聚类并比较相似的卷积核,可以安全地剪掉同类的冗余卷积核,实现深度神经网络的加速,实验表明该方法在 CIFAR10 与 CIFAR100 数据集上具有竞争性的性能。
May, 2019
提出了一种新的神经网络卷积核剪枝方法,通过 Taylor 扩展来近似剪枝参数变化引起的代价函数的改变,并结合反向传播的微调来保持剪枝网络的良好泛化性能,该方法在细粒度分类任务中表现出优异的性能。
Nov, 2016
本研究提出了一种基于熵的滤波器重要性评估方法,使用该方法来加速和压缩现有的卷积神经网络模型,并通过对过滤器进行快速修剪和精细调整来优化模型的计算性能和泛化能力,以在 ILSVRC-12 基准测试中取得了良好的性能表现,能够在不牺牲模型精度情况下将模型压缩大约 16.64 倍。
Jun, 2017
本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法,该方法同时对 CNN 模型参数进行剪枝和微调,具有自适应剪枝率和可直接指定误差容限等特点,在不损失准确性的情况下,有效减少了 VGG-16 的参数数量和 FLOPS。
研究表明,通过暂时修剪和恢复模型的子集滤波器,反复进行该过程,可以减少所学习特征的重叠,从而提高了模型的泛化能力;而在这种情况下,现有的模型修剪标准并不是选择修剪滤波器的最优策略,因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络,能够提高各种任务的性能,尤其是小型网络的性能。
Nov, 2018
通过使用中心性度量方法,提出了一种 CNN 剪枝框架来减少网络中不必要的滤波器数量,从而提高计算和存储效率,实验结果表明,在不损失准确性方面,对于声音场景分类和音频标记,该方法分别可将每次推理的计算量降低 71%和 24%。
May, 2023
本文提出了 LayerPrune 框架,相较于传统基于 filter 的剪枝方法,LayerPrune 基于不同的剪枝指标实现了更高的延迟降低,并使用相同的 filter 重要性判定剪枝最不重要的层,较好地平衡了准确率和删除率。
Jul, 2020