抽奖票假设(LTH)指出,一个密集的神经网络模型包含一个高度稀疏的子网络(即获奖票),当单独训练时可以实现比原始模型更好的性能。尽管 LTH 已经在许多工作中经过了经验和理论上的证明,但仍然存在一些待解决的问题,如效率和可扩展性。此调查旨在提供 LTH 研究现状的深入了解,并建立一个有序维护的平台来进行实验并与最新基准进行比较。
Mar, 2024
通过将 Lottery Ticket Hypothesis 应用于扩散模型,本研究首次在基准测试上发现了在稀疏度为 90%-99% 时仍能保持性能的子模型,并提出了一种可以在模型的不同层之间具有变化稀疏度的方法。
Oct, 2023
本文提出了一种弹性彩票假设(Elastic Lottery Ticket Hypothesis),证明了通过适当地调整一种深度学习神经网络的层级结构,可以从同一类神经网络的另一个较深或较浅网络中拉伸或压缩其获胜彩票,从而实现相当于 IMP 直接发现的性能。
Mar, 2021
文章探讨了深度学习神经网络中 Lottery Ticket Hypothesis(LTH)方法对于物体识别、实例分割和关键点预测任务的模型剪枝效果,结果表明通过该方法找到的初始模型可以在不影响性能的情况下达到 80% 的稀疏度。
Dec, 2020
通过实验证明,在可接受的神经网络大小下,要发现优秀的稀疏子网络,比较小的神经网络更容易受益于 Lottery Ticket Hypothesis 并且得到更好的训练效果。
Jun, 2022
本文提出了一种新的概率建模方法来适应间歇性发放信号神经元的复杂时间空间动力学,通过定理及实验证明了 LTH 在间歇性发放信号神经网络上成立,并进一步设计了一种基于我们理论的新的剪枝准则,取得了比基线更好的剪枝效果。
May, 2023
本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究,通过使用无结构量级剪枝来发现最优子网络,实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。
May, 2019
该研究使用彩票票据原理,提出了一种适用于深度脉冲神经网络(SNN)的神经剪枝技术,即运用早期时间(ET)票据来减少彩票票据原理的搜索时间,该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。
Jul, 2022
本文提出了一种数据级彩票假设(Data-LTH-ViT),旨在寻找将 Vision Transformers 训练到与使用所有图像补丁训练模型相似准确度的可行子集。结果表明,使用获胜彩票的模型与随机选择子集的模型的性能存在明显差异,并且该理论具有与传统 LTH 相似之处。
Nov, 2022
本文提出彩票票据假说,展示了深度神经网络中存在的可训练子网络,这些子网络在相同的训练步骤下表现不亚于原始模型。研究表明存在某些子网络能够更快地收敛,我们的实验表明这些子网络在各种模型结构和超参数的限制条件下的一致存在性,此外,这些子网络能够在对抗性训练中将总时间缩短至最新技术的 49%。
Mar, 2020