本文提出彩票票据假说,展示了深度神经网络中存在的可训练子网络,这些子网络在相同的训练步骤下表现不亚于原始模型。研究表明存在某些子网络能够更快地收敛,我们的实验表明这些子网络在各种模型结构和超参数的限制条件下的一致存在性,此外,这些子网络能够在对抗性训练中将总时间缩短至最新技术的 49%。
Mar, 2020
该论文证明现代卷积和残差层构成的卷积神经网络同样可能存在具有高概率的‘彩票票证’,这与以往理论只关注具有 ReLU 激活函数的全连接前馈神经网络有所不同。
May, 2022
本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法,同时发现这些 winning tickets 有跨模型的传递性,因此可以帮助训练多种深度生成模型,并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。
Oct, 2020
该文在进行神经网络剪枝过程中提出了 “彩票票假设”,即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络,当其被隔离地训练时,可以在相似的迭代次数内达到与原始网络相当的测试准确性,通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。
Mar, 2018
该研究提出彩票票据假设,证明对于每个有界分布以及带有有界权重的目标网络,一个具有随机权重的足够超参数的神经网络包含一个子网络,与目标网络具有大致相同的准确性,而不需要进一步的训练。
Feb, 2020
文章探讨了深度学习神经网络中 Lottery Ticket Hypothesis(LTH)方法对于物体识别、实例分割和关键点预测任务的模型剪枝效果,结果表明通过该方法找到的初始模型可以在不影响性能的情况下达到 80% 的稀疏度。
Dec, 2020
抽奖票假设(LTH)指出,一个密集的神经网络模型包含一个高度稀疏的子网络(即获奖票),当单独训练时可以实现比原始模型更好的性能。尽管 LTH 已经在许多工作中经过了经验和理论上的证明,但仍然存在一些待解决的问题,如效率和可扩展性。此调查旨在提供 LTH 研究现状的深入了解,并建立一个有序维护的平台来进行实验并与最新基准进行比较。
Mar, 2024
通过实验证明,在可接受的神经网络大小下,要发现优秀的稀疏子网络,比较小的神经网络更容易受益于 Lottery Ticket Hypothesis 并且得到更好的训练效果。
Jun, 2022
本文研究了 Lottery Ticket Hypothesis 在分布转移下的稀疏子网络初始化及转移时的效果,并验证了这种初始化策略的归纳偏差可被应用于多个领域。
Oct, 2019
通过将 Lottery Ticket Hypothesis 应用于扩散模型,本研究首次在基准测试上发现了在稀疏度为 90%-99% 时仍能保持性能的子模型,并提出了一种可以在模型的不同层之间具有变化稀疏度的方法。
Oct, 2023