深度卷积神经网络的结构化剪枝
通过对特征图和卷积核级别进行修剪,可以减少深度卷积神经网络的计算复杂性,而且在 CIFAR-10 数据集上的实验证明,在保持基线网络误分类率不到 1% 的情况下,可以在卷积层中引入超过 85% 的稀疏性。
Oct, 2016
使用结构化剪枝方法,在不降低推理准确度的情况下,通过算法的网络增强、剪枝、子网络合并和移除,实现了高达 93% 的稀疏度与 95% FLOPs 的减少,同时在分类和分割问题上超过了先进水平,并且避免了在 GPU 上进行计算昂贵的稀疏矩阵运算。
Aug, 2023
本研究使用 VGG-16 模型作为示例,测量了各种结构模型修剪方法和数据集(CIFAR-10 和 ImageNet)在 Tensor Processing Units(TPUs)上的准确性和效率之间的权衡,使用 TensorFlow2 开发了一个结构模型修剪库以在 TPUs 上显着提高模型内存使用和速度而不失准确性,这尤其适用于较小的数据集(如 CIFAR-10)。
Jul, 2021
本文提出一种同时实现卷积神经网络的规模经济和速度提升的方法,包括一种有效的一般性稀疏 - 稠密矩阵乘法实现以及一种性能模型,可以预测不同层和不同计算机架构的稀疏水平的最佳值,该方法可在包括移动设备和超级计算机在内的各种处理器上实现 3.1-7.3 倍的卷积速度提升。
Aug, 2016
介绍了新的稀疏度维度 - 粗粒度结构内的细粒度剪枝模式 (PCONV) 方法,通过结构内的细粒度稀疏性和连接性稀疏性提高了精度和计算效率,在实时推理中取得了显著的速度提升,没有准确性损失。
Sep, 2019
本研究分析稀疏性对深度神经网络加速器的设计效率和预测精度的影响,证明了相对于细粒度稀疏性,粗粒度稀疏性能够在保持同等精度的前提下获得更好的压缩率和更高效的硬件设计
May, 2017
本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法,与传统的剪枝方法不同,本方法采用渐进式连续松弛和网络优化,然后采样稀疏子网络,使得训练出来的深层网络更加高效。实验结果证明,采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。
Jul, 2020
本文介绍一种基于辅助门控机制的结构化网络剪枝方法,通过给主干网中的块分配重要性标记,并提出了一种块级剪枝的投票策略来解决移动设备上使用卷积神经网络时遇到的成本问题。通过知识蒸馏的三阶段训练计划,提高了模型性能,实现了更好的压缩率。实验证明该方法在分类任务中可以取得最先进的压缩性能。此外,通过提供预训练模型,我们的方法可以与其他剪枝方法协同集成,从而实现比未剪枝模型更优异的性能,并减少了超过 93%的浮点运算。
May, 2022
本文提出了一种名为结构化稀疏正则化(SSR)的滤波器剪枝方案,它通过两种不同的正则化方法来适应性地裁剪卷积神经网络(CNN)的滤波器,从而提高计算速度和降低内存开销,并通过实验验证了其优异性能。
Jan, 2019
本文介绍了一种有效的方法来解决组卷积剪枝的挑战,即将其制定为寻找最优通道置换以施加结构约束并通过启发式方法高效地解决。同时,本方法还应用启发式方法来探索基于估算的剪枝成本的分组配置,以最大化测试准确性。与之前的工作相比,结果表明我们的方法在更短的剪枝时间内为各种任务生成具有竞争力的组卷积模型,并可快速探索组配置以符合推断预算约束。
Nov, 2018