这篇论文针对神经网络修剪方法提出一种基于重要性分数的全局修剪方法(LAMP),不需要人工调参或加重的计算,使用在图像分类任务上表现出优于现有算法的效果。
Oct, 2020
本文提出了一种新颖的幅值剪枝方法,通过重新参数化和两个监督双向网络来保证被提取的子网络具有拓扑一致性,从而显著增强了其泛化能力,本方法在基于图卷积神经网络的骨架动作识别任务上经过了广泛的实验证明。
Jun, 2023
深度神经网络修剪方法的全面理论分析及其在各种网络架构上的实验验证。
Feb, 2020
本文提出了一种新颖的动态裁剪方法,称之为基于数量级注意力的动态裁剪 (MAP) 方法,该方法在前向和反向路径中均运用了权重的重要性来动态探索稀疏模型结构,可以在更高效的情况下实现密集模型的性能,并且在 CIFAR-10/100 和 ImageNet 数据集上的表现比以前的裁剪方法更好。
本文提出一种基于移动修剪的权重修剪方法,相比于纯监督学习中使用的幅度修剪方法,更适用于预训练模型微调,实验证明在高稀疏度下,此方法对预训练语言模型的剪枝效果更好,结合蒸馏技术最大程度地减小模型参数,同时保持模型准确率。
May, 2020
本文探讨基于傅里叶分析的 Magnitude-Based Pruning (MBP) 算法,在深度学习模型中进行网络压缩和模型设计,并提出了一种新颖的两阶段剪枝方法。实验结果表明,我们提出的基于傅里叶分析的 MBP 算法相比其他传统 MBP 算法具有优越性。
Jan, 2022
本文介绍了一种名为 Wanda 的裁剪方法,旨在在无需微调或权重更新的情况下诱导预训练 LLMs 的稀疏性,并在 LLaMA 上进行全面评估,实验证明 Wanda 在各种语言基准测试中显著优于基线剪枝方案,并与涉及大量权重更新的最近方法竞争优势。
提出了一种名为 FlexRel 的新型修剪方法,通过结合训练时间和推理时间信息,即参数大小和相关性,来提高准确性,并节省计算资源和带宽。性能评估表明,FlexRel 能够实现更高的修剪因子,为典型准确性目标节省超过 35%的带宽。
May, 2024
本文介绍了一种新的轻量级 GCN 设计:概率幅值剪枝 (PMP),该方法通过联合训练网络拓扑和权重,通过对齐已知先验分布的权重分布来实现任何固定剪枝率,以及增强设计的轻量级 GCN 的泛化性能。在处理基于骨骼的识别任务时,本文进行了大量的实验证明,轻量级 GCN 在非常高的剪枝基准下有显着的性能提升。
May, 2023
在嵌入式环境中,卷积神经网络因其过多的权重存储和算术运算而未能得到广泛应用,为解决这一问题,本文提出了一种新的修剪方案,以反映加速器架构,通过此方案,性能得到了大幅提升,并成功应用于 AlexNet,VGG16,ResNet,MobileNet 等多种网络模型。
Apr, 2018