探索突触传递网络中的抽奖票假设
本文提出了一种新的概率建模方法来适应间歇性发放信号神经元的复杂时间空间动力学,通过定理及实验证明了 LTH 在间歇性发放信号神经网络上成立,并进一步设计了一种基于我们理论的新的剪枝准则,取得了比基线更好的剪枝效果。
May, 2023
该文在进行神经网络剪枝过程中提出了 “彩票票假设”,即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络,当其被隔离地训练时,可以在相似的迭代次数内达到与原始网络相当的测试准确性,通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。
Mar, 2018
文章探讨了深度学习神经网络中 Lottery Ticket Hypothesis(LTH)方法对于物体识别、实例分割和关键点预测任务的模型剪枝效果,结果表明通过该方法找到的初始模型可以在不影响性能的情况下达到 80% 的稀疏度。
Dec, 2020
本文提出了一种弹性彩票假设(Elastic Lottery Ticket Hypothesis),证明了通过适当地调整一种深度学习神经网络的层级结构,可以从同一类神经网络的另一个较深或较浅网络中拉伸或压缩其获胜彩票,从而实现相当于 IMP 直接发现的性能。
Mar, 2021
通过将 Lottery Ticket Hypothesis 应用于扩散模型,本研究首次在基准测试上发现了在稀疏度为 90%-99% 时仍能保持性能的子模型,并提出了一种可以在模型的不同层之间具有变化稀疏度的方法。
Oct, 2023
本论文提出 Dual Lottery Ticket Hypothesis 和 Random Sparse Network Transformation 实现稀疏神经网络训练,并通过实验证明了其有效性。
Mar, 2022
抽奖票假设(LTH)指出,一个密集的神经网络模型包含一个高度稀疏的子网络(即获奖票),当单独训练时可以实现比原始模型更好的性能。尽管 LTH 已经在许多工作中经过了经验和理论上的证明,但仍然存在一些待解决的问题,如效率和可扩展性。此调查旨在提供 LTH 研究现状的深入了解,并建立一个有序维护的平台来进行实验并与最新基准进行比较。
Mar, 2024
本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法,同时发现这些 winning tickets 有跨模型的传递性,因此可以帮助训练多种深度生成模型,并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。
Oct, 2020
在本研究中,我们通过使用 Grad-CAM 和 Post-hoc 概念瓶颈模型(PCBMs)分别从像素和高级概念的角度,调查了经过裁剪的网络的可解释性。通过在视觉和医学影像数据集上进行广泛实验,我们发现随着权重的减少,网络的性能会下降,并且从裁剪网络中发现的概念和像素与原始网络不一致,可能是性能下降的原因。
Jul, 2023
本文通过分析目标函数的几何结构和样本复杂度,理论上证明了剪枝神经网络在加速随机梯度下降算法的特定情况下,训练过程中获得零泛化误差所需的样本数与隐藏层中未被剪枝的权重数成正比,从而提供了对中奖票证明的形式化证明。
Oct, 2021