通过次模优化实现数据有效的结构化剪枝
使用结构化剪枝方法,在不降低推理准确度的情况下,通过算法的网络增强、剪枝、子网络合并和移除,实现了高达 93% 的稀疏度与 95% FLOPs 的减少,同时在分类和分割问题上超过了先进水平,并且避免了在 GPU 上进行计算昂贵的稀疏矩阵运算。
Aug, 2023
基于优化的结构剪枝方法通过在概率空间中学习剪枝掩码,通过前向传递和策略梯度估计器进行高效优化,实现对大型语言模型的剪枝,并在复杂性和效果方面超越现有方法。
Jun, 2024
使用结构化剪枝在训练之前使速度提高 2 倍,在推理中提高 3 倍的方法。通过删除整个通道和隐藏单元的方法来加快训练和推理,使用基于感受度每 FLOP 的计算感知得分机制来实现裁剪。
Jul, 2020
本文研究了定结构剪枝在多任务深度神经网络模型中的有效性。通过使用基于现有单任务筛选剪枝标准和基于多任务学习筛选剪枝标准,采用迭代剪枝策略进行剪枝,本文表明在参数数目相似的情况下,与快速单任务 DNN 相比,DNN 多任务可以通过精心的超参数调整实现相似的性能,迭代权重剪枝可能不是实现良好性能剪裁模型的最好方式。
Apr, 2023
本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法,与传统的剪枝方法不同,本方法采用渐进式连续松弛和网络优化,然后采样稀疏子网络,使得训练出来的深层网络更加高效。实验结果证明,采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。
Jul, 2020
本文提出了一种自适应基于激活的结构化裁剪方法,以自动高效地生成满足用户要求的小型、准确和硬件高效的模型,它提出了迭代性结构化裁剪和自适应剪枝策略,可在不降低精度的情况下大幅减少参数和 FLOPs
Jan, 2022
本文提出了一种名为动态结构修剪的结构修剪方法,基于组梯度学习实现了细粒度修剪,并在训练深度神经网络时优化修剪粒度,实验结果表明在 ImageNet 数据集上,动态结构修剪对 ResNet50 模型进行修剪可将 FLOPs 降低 71.85% 且不影响模型准确率,并在 GPU 加速方面优于通道修剪。
Mar, 2023
本研究提出了一种基于 GAN 的方法,通过软屏蔽对过滤器和其他结构进行联合裁剪,并在快速迭代阈值算法(FISTA)的帮助下获得更快速和可靠的裁剪。实验证明该方法在不同数据集上都可以获得显著的性能提升。
Mar, 2019
本研究使用 VGG-16 模型作为示例,测量了各种结构模型修剪方法和数据集(CIFAR-10 和 ImageNet)在 Tensor Processing Units(TPUs)上的准确性和效率之间的权衡,使用 TensorFlow2 开发了一个结构模型修剪库以在 TPUs 上显着提高模型内存使用和速度而不失准确性,这尤其适用于较小的数据集(如 CIFAR-10)。
Jul, 2021