特征统计指导的高效滤波器剪枝
本研究介绍了一种新的滤波器修剪方法(FSCL), 它在连续层之间明确利用滤波器之间的相似性来压缩模型,从而剪掉那些在模型中不太重要的特征, 并在多个基准模型和数据集上取得了显着的精度、FLOPs 和参数量减少。
Apr, 2023
通过 Nyström 近似方法,提出了一种高效的基于相似度的被动滤波器剪枝方法,相比于基于相似度的滤波器剪枝方法,其计算速度快三倍,准确率相同,该方法还表现出与现有基于范数的剪枝方法相似或更好的效果。在 DCASE 2021 任务 1A 基线网络和设计用于声学场景分类的 VGGish 网络等卷积神经网络上评估了该方法的有效性。
Oct, 2022
提出了一种基于运算符范数的被动滤波器修剪方法,通过考虑滤波器在输出中的贡献来裁剪滤波器,相对于现有的主动滤波器修剪方法快 4.5 倍,并且在声音场景分类和图像分类等任务中表现出更好的泛化能力和性能。
Apr, 2023
该论文提出了一种通过消除冗余特征(或滤波器)来修剪深度和 / 或宽度卷积神经网络模型的高效技术,其依据特征空间中的相对余弦距离区分它们和它们的连接特征映射并优化精度和推理性能,但优化后的算法能将 VGG-16 的推理成本降低 40%、ResNet-56 的推理成本降低 27%、ResNet-110 的推理成本减少 39%。
Feb, 2018
本研究提出一个基于子空间聚类的卷积神经网络剪枝方法,通过寻找不同特征子空间中的线性关系来消除卷积滤波器中的冗余信息,从而对卷积神经网络实现压缩和加速的目的。经过实验验证,该方法在绝大部分现有方法之前,在微调后实现了最先进的结果。
Mar, 2018
通过知识驱动的差分滤波器采样 (KDFS) 和带蒙版滤波器建模 (MFM) 框架进行过滤修剪,在不牺牲准确度的前提下,全局剪除冗余滤波器显著降低计算和内存开销。
Jul, 2023
本文提出了一种基于滤波器减少方法的 CNNs 加速方法,它不依赖稀疏卷积库,通过移除对输出准确性影响较小的整个滤波器及其连接的特征图,大大降低了计算成本,在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%,并且通过重新训练网络可以接近原始准确性。
Aug, 2016
本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法,该方法同时对 CNN 模型参数进行剪枝和微调,具有自适应剪枝率和可直接指定误差容限等特点,在不损失准确性的情况下,有效减少了 VGG-16 的参数数量和 FLOPS。
May, 2019
提出了一种新的结构化网络修剪方法 SNPFI,该方法通过衡量滤波器的重要性和利用强度来减少冗余滤波器,并将滤波器间的相互作用纳入重要性度量中,实现减少计算成本并恢复性能的效果,并在各种图像分类数据集上成功验证了该方法的有效性。
Jul, 2023
本文提出了一种基于聚类的卷积核剪枝方法,通过在线将卷积核聚类并比较相似的卷积核,可以安全地剪掉同类的冗余卷积核,实现深度神经网络的加速,实验表明该方法在 CIFAR10 与 CIFAR100 数据集上具有竞争性的性能。
May, 2019