Mar, 2023

随机初始化子网络与迭代权重回收

TL;DR该研究介绍了一种名为 Iterative Weight Recycling 的算法,该算法可在初始化的神经网络中识别重要权重的子集以供重复使用,可以提高模型稀疏度,此外还支持了多奖励彩票票据假设的互补结果,即高精度,随机初始化的子网络产生多样的掩码,展现了高度的变异性。