稳定彩票假设
该研究提出彩票票据假设,证明对于每个有界分布以及带有有界权重的目标网络,一个具有随机权重的足够超参数的神经网络包含一个子网络,与目标网络具有大致相同的准确性,而不需要进一步的训练。
Feb, 2020
该文在进行神经网络剪枝过程中提出了 “彩票票假设”,即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络,当其被隔离地训练时,可以在相似的迭代次数内达到与原始网络相当的测试准确性,通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。
Mar, 2018
深度神经网络的票证彩票假设强调了重新训练使用迭代幅度修剪过程获得的更稀疏网络所使用的初始化的重要性。这项研究试图通过对幅度修剪过程的各个阶段获得的解决方案的体积 / 几何和损失景观特征进行经验性研究,以揭示票证彩票假设的特定初始化为何在泛化(和训练)性能方面表现更好,并着重研究了幅度修剪和迭代过程的底层原理,如较小幅度权重的修剪和迭代过程的作用。
Mar, 2024
本文提出彩票票据假说,展示了深度神经网络中存在的可训练子网络,这些子网络在相同的训练步骤下表现不亚于原始模型。研究表明存在某些子网络能够更快地收敛,我们的实验表明这些子网络在各种模型结构和超参数的限制条件下的一致存在性,此外,这些子网络能够在对抗性训练中将总时间缩短至最新技术的 49%。
Mar, 2020
提出了一种结合神经网络结构搜索和剪枝算法的策略,以解决原始 “彩票票据假设” 的遗忘问题,使得能够在不影响性能的情况下持续训练和剪枝过程,获得更深层次、更好的泛化能力和更好的测试性能的新 “获奖票据子网络”,并进一步探讨了保持网络年轻化的因素可能影响神经网络的学习潜力或泛化性能的新假设。
Sep, 2021
该研究使用彩票票据原理,提出了一种适用于深度脉冲神经网络(SNN)的神经剪枝技术,即运用早期时间(ET)票据来减少彩票票据原理的搜索时间,该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。
Jul, 2022
研究表明,通过稀疏模型、神经网络和剪枝技术等手段,可以在交互式设备和时间关键型计算中快速实现预测,找到了一种新的剪枝技术,该技术不仅优于其他技术,而且对于高密度稀疏性水平的情况具有很大的优势。
May, 2020
本文提出了一种搜索被称为 "lottery jackpots" 的高性能、稀疏的子网络的方法,通过使用基于幅值的裁剪技术初始化稀疏掩码并使用短限制方法减少训练损失,从而提高搜索效率和准确性。
Apr, 2021
使用迭代幅度裁剪算法(IMP)研究了在网络训练早期找到高度稀疏且匹配的子网络的原理,其操作是迭代循环的训练,屏蔽最小的幅度权重,回溯到早期的训练点,然后重复,结果表明:错误景观(error landscape geometry)的平坦度决定了每次 IMP 迭代中可以修剪的权重比例的限制。
Oct, 2022