ICLRSep, 2020
神经网络初始化时的剪枝:为什么我们会错过目标?
Pruning Neural Networks at Initialization: Why are We Missing the Mark?
Jonathan Frankle, Gintare Karolina Dziugaite, Daniel M. Roy, Michael Carbin
TL;DR研究表明神经网络在初始化阶段进行剪枝是可能的,但是现有方法(SNIP、GraSP、SynFlow 和 magnitude pruning)表现不如训练后的 magnitude pruning,可能是因为这些方法的权重剪枝决策可以通过每层选择剪枝权重比例来替换,这反映出底层剪枝启发式算法及初始化阶段进行剪枝的挑战。