May, 2023
SWAMP: 迭代幅值削减的多粒子稀疏权重平均
SWAMP: Sparse Weight Averaging with Multiple Particles for Iterative Magnitude Pruning
Moonseok Choi, Hyungi Lee, Giung Nam, Juho Lee
TL;DR本文提出一种基于迭代幅值修剪 (Iterative Magnitude Pruning, IMP) 算法的改进方法 Sparse Weight Averaging with Multiple Particles (SWAMP),通过同时训练多个稀疏模型,利用加权平均的方式获得更好的泛化表现,该方法相比于现有基线方法在不同稀疏度下表现更优。