结构化剪枝适配器
结构化修剪技术 (SPA) 是一种适用于不同架构、框架和修剪标准的多功能架构修剪框架,通过使用标准化计算图和 ONNX 表示法来实现对神经网络的修剪,并通过分组级别的重要性估计方法来进行修剪。在对比实验中,SPA 在不同架构、流行框架和不同修剪时间上表现出与现有技术相当的修剪性能。OBSPA 是一种无需微调或校准数据即可实现最先进的修剪结果的算法。
Mar, 2024
本文提出了一种自适应基于激活的结构化裁剪方法,以自动高效地生成满足用户要求的小型、准确和硬件高效的模型,它提出了迭代性结构化裁剪和自适应剪枝策略,可在不降低精度的情况下大幅减少参数和 FLOPs
Jan, 2022
本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法,与传统的剪枝方法不同,本方法采用渐进式连续松弛和网络优化,然后采样稀疏子网络,使得训练出来的深层网络更加高效。实验结果证明,采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。
Jul, 2020
插件调整适用于预训练语言模型中;本研究基于稀疏适配器通过带放大系数的参数情况,实现了大的模型容量;通过使用 SNIP 方法和适当的系数,稀疏适配器可以始终优于对应的常规适配器,并且大稀疏设置可以获得进一步的性能提升,甚至可以大幅超过完全微调的性能。
Oct, 2022
使用结构化剪枝方法,在不降低推理准确度的情况下,通过算法的网络增强、剪枝、子网络合并和移除,实现了高达 93% 的稀疏度与 95% FLOPs 的减少,同时在分类和分割问题上超过了先进水平,并且避免了在 GPU 上进行计算昂贵的稀疏矩阵运算。
Aug, 2023
应用自适应权重扰动和稳定正则的 AdaSAP 方法对深度学习模型进行剪枝,实现了具有鲁棒性的稀疏网络,该方法在分类和物体检测任务上表现出较高的准确性。
Jun, 2023
基于脉冲神经网络(SNN)的结构稀疏化,提出了一种基于卷积核活动水平的结构删减方法,通过动态调整网络结构使其更适应当前目标任务,提高模型的适应性、降低计算负载和加速推理过程。
Jun, 2024