迭代基于激活的结构化剪枝
本研究提出了利用网络压缩的方法来解决深度学习模型在资源有限的系统中的应用难题,并利用迭代剪枝技术使压缩后的网络更加高效和精确。实验证明该方法在与现有方法进行比较时在相同剪枝等级下表现更佳。
Feb, 2019
本研究基于先前研究结构性剪枝技术,从稀疏神经网络的角度分析剪枝问题,提出Block-Max Weight Masking (BMWM) 和Density-Adaptive Regular-Block (DARB)两种新方法,比现实有人工智能领域的现有结构化剪枝技术提高了13-25倍和14.3倍的剪枝和解码效率。
Nov, 2019
该研究探讨了神经网络剪枝的相关问题,包括学习率、训练预算、线性学习率表等,并通过提出一个简单而有效的方法来适应性地选择线性表的初始值,进而减少网络的训练时间和复杂度。
Nov, 2021
本文提出了一种自适应基于激活的结构化裁剪方法,以自动高效地生成满足用户要求的小型、准确和硬件高效的模型,它提出了迭代性结构化裁剪和自适应剪枝策略,可在不降低精度的情况下大幅减少参数和FLOPs
Jan, 2022
通过迭代剪枝最低激活值方法,提出DropNet来简化深度神经网络,实验结果表明,最高可减少90%的节点/滤波器而不影响精度,并证明DropNet与贪婪算法相似。
Jul, 2022
本文介绍了一种基于双层优化的模型修剪方法,称为BiP,它可以像一级优化一样简单地解决大规模深度学习模型的修剪问题,而且在大多数情况下,此方法可以比传统的迭代剪枝(IMP)找到更好的中奖率,并且在同样的模型准确性和稀疏度下可以获得2-7倍的速度提升。
Oct, 2022
使用结构化剪枝方法,在不降低推理准确度的情况下,通过算法的网络增强、剪枝、子网络合并和移除,实现了高达93%的稀疏度与95%FLOPs的减少,同时在分类和分割问题上超过了先进水平,并且避免了在GPU上进行计算昂贵的稀疏矩阵运算。
Aug, 2023
深度神经网络的票证彩票假设强调了重新训练使用迭代幅度修剪过程获得的更稀疏网络所使用的初始化的重要性。这项研究试图通过对幅度修剪过程的各个阶段获得的解决方案的体积/几何和损失景观特征进行经验性研究,以揭示票证彩票假设的特定初始化为何在泛化(和训练)性能方面表现更好,并着重研究了幅度修剪和迭代过程的底层原理,如较小幅度权重的修剪和迭代过程的作用。
Mar, 2024
利用结构化剪枝技术,Reconvene系统可快速生成适用于边缘部署的经剪枝模型,大小减小了16.21倍,速度加快2倍,同时保持与未经剪枝的模型相同的准确性。
Apr, 2024
基于模型压缩和硬件加速,本研究通过剪枝方法对高度互联的卷积层的连接汇如YOLOv7中进行处理,并通过迭代敏感度分析、剪枝和模型微调,显著减少了模型大小,同时保持了可比较的模型准确性。最终将剪枝模型部署到FPGA和NVIDIA Jetson Xavier AGX上,与未剪枝的模型相比,在卷积层中实现了2倍的加速,并在FPGA上达到了每秒14帧的实时能力。
May, 2024