面向嵌入式 GPU 的性能感知卷积神经网络通道剪枝
本文提出了一种新的通道剪枝方法,能够加速非常深的卷积神经网络,通过基于 LASSO 回归的通道选择和最小二乘重构的迭代两步算法有效地修剪每一层,进一步推广到多层和多分支情况,剪枝后的 VGG-16 实现了 5 倍速度提升和仅 0.3%误差增加的最新成果,更重要的是,本方法能够加速现代网络,例如 ResNet,Xception,分别在 2 倍加速下只有 1.4%,1.0%的准确度损失,代码已公开出售。
Jul, 2017
本文提出一种基于通道修剪的卷积神经网络加速算法,该算法通过端到端随机训练和修剪常量通道的方法得到压缩模型,并在多个图像识别任务上验证了其竞争性能。
Feb, 2018
本文提出了一种新的通道修剪技术 REPrune,利用层次聚类方法在每个通道中识别相似的卷积核,并通过最大化聚类覆盖问题来选择卷积滤波器,结合同时训练和修剪的范式,实现训练过程中的高效修剪,实验结果显示 REPrune 在计算机视觉任务中表现优于现有方法,有效地在加速率和性能保留之间取得平衡。
Feb, 2024
在嵌入式环境中,卷积神经网络因其过多的权重存储和算术运算而未能得到广泛应用,为解决这一问题,本文提出了一种新的修剪方案,以反映加速器架构,通过此方案,性能得到了大幅提升,并成功应用于 AlexNet,VGG16,ResNet,MobileNet 等多种网络模型。
Apr, 2018
提出了一种新的神经网络卷积核剪枝方法,通过 Taylor 扩展来近似剪枝参数变化引起的代价函数的改变,并结合反向传播的微调来保持剪枝网络的良好泛化性能,该方法在细粒度分类任务中表现出优异的性能。
Nov, 2016
本文提出一种同时实现卷积神经网络的规模经济和速度提升的方法,包括一种有效的一般性稀疏 - 稠密矩阵乘法实现以及一种性能模型,可以预测不同层和不同计算机架构的稀疏水平的最佳值,该方法可在包括移动设备和超级计算机在内的各种处理器上实现 3.1-7.3 倍的卷积速度提升。
Aug, 2016
介绍了一种有效的基于鉴别力的通道剪枝方法,利用额外的损失函数增加中间层的鉴别力并根据重构误差和额外损失函数选择最具鉴别力的通道,并提出了一种迭代贪心算法来优化参数和通道选择。对类似于 ILSVRC-12 的测试数据,使用该算法对 ResNet-50 剪枝显示出相当有效的性能。
Oct, 2018