该文在进行神经网络剪枝过程中提出了 “彩票票假设”,即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络,当其被隔离地训练时,可以在相似的迭代次数内达到与原始网络相当的测试准确性,通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。
Mar, 2018
通过研究神经网络模型剪枝,提出了 “Lottery Ticket Hypothesis”,发现神经网络的初始化和学习率等条件会影响最优子网络的提取,同时提出 “Pruning & Fine-tuning” 方法来优化剪枝和训练,实验证明该方法在多种深度神经网络结构上表现出色。
Feb, 2021
该研究提出彩票票据假设,证明对于每个有界分布以及带有有界权重的目标网络,一个具有随机权重的足够超参数的神经网络包含一个子网络,与目标网络具有大致相同的准确性,而不需要进一步的训练。
Feb, 2020
本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法,同时发现这些 winning tickets 有跨模型的传递性,因此可以帮助训练多种深度生成模型,并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。
Oct, 2020
本论文提出 Dual Lottery Ticket Hypothesis 和 Random Sparse Network Transformation 实现稀疏神经网络训练,并通过实验证明了其有效性。
Mar, 2022
通过将 Lottery Ticket Hypothesis 应用于扩散模型,本研究首次在基准测试上发现了在稀疏度为 90%-99% 时仍能保持性能的子模型,并提出了一种可以在模型的不同层之间具有变化稀疏度的方法。
Oct, 2023
本文提出彩票票据假说,展示了深度神经网络中存在的可训练子网络,这些子网络在相同的训练步骤下表现不亚于原始模型。研究表明存在某些子网络能够更快地收敛,我们的实验表明这些子网络在各种模型结构和超参数的限制条件下的一致存在性,此外,这些子网络能够在对抗性训练中将总时间缩短至最新技术的 49%。
Mar, 2020
本文研究了 Lottery Ticket Hypothesis 在分布转移下的稀疏子网络初始化及转移时的效果,并验证了这种初始化策略的归纳偏差可被应用于多个领域。
Oct, 2019
本研究提出了 Multi-Prize Lottery Ticket 假设,表明含有随机权重的过度参数化神经网络包含多个可训练子网络,可以通过剪枝和精度量化来获得高精度的二进制神经网络。实验表明通过该方法得到的神经网络可以在 CIFAR-10 和 ImageNet 数据集上达到更高的精度,而且效果比原始的全精度基线模型更好。
Mar, 2021
该论文提出了一种名为 “Gem-Miner” 的方法,它可以在初始化时找到可训练的彩票网络,进而在精度方面击败当前的基线,而且速度比迭代性大小修剪(IMP)快多达 19 倍。
Feb, 2022