Dec, 2023
视觉提示提升神经网络稀疏化:数据模型视角
Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective
Can Jin, Tianjin Huang, Yihua Zhang, Mykola Pechenizkiy, Sijia Liu...
TL;DR本研究从数据 - 模型协同设计的角度,提出了一种新颖的数据 - 模型协同设计方法,通过学习重要的模型拓扑和充足的输入数据,促进优秀权重稀疏性。实验结果表明,使用该方法可以显著提高模型剪枝效果,并且从预训练模型中发现的子网络在不同的场景下具有更好的迁移性能,为视觉模型稀疏化的数据 - 模型协同设计提供了新的可能性。