Oct, 2022
揭开彩票假设:揭示中奖彩票遮罩中所编码的信息
Unmasking the Lottery Ticket Hypothesis: What's Encoded in a Winning Ticket's Mask?
Mansheej Paul, Feng Chen, Brett W. Larsen, Jonathan Frankle, Surya Ganguli...
TL;DR使用迭代幅度裁剪算法(IMP)研究了在网络训练早期找到高度稀疏且匹配的子网络的原理,其操作是迭代循环的训练,屏蔽最小的幅度权重,回溯到早期的训练点,然后重复,结果表明:错误景观(error landscape geometry)的平坦度决定了每次 IMP 迭代中可以修剪的权重比例的限制。