植物寻觅:你能找到获胜的门票吗?
该文在进行神经网络剪枝过程中提出了 “彩票票假设”,即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络,当其被隔离地训练时,可以在相似的迭代次数内达到与原始网络相当的测试准确性,通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。
Mar, 2018
本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法,同时发现这些 winning tickets 有跨模型的传递性,因此可以帮助训练多种深度生成模型,并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。
Oct, 2020
该研究提出了一种基于连续稀疏化的新型算法,用于寻找高效的、稀疏的深度神经网络模型。实验结果表明,在修剪和寻找稀疏子网络方面,我们均超过了现有方法的最新技术水平,包括 VGG 在 CIFAR-10 上训练和 ResNet-50 在 ImageNet 上训练等。
Dec, 2019
该研究使用彩票票据原理,提出了一种适用于深度脉冲神经网络(SNN)的神经剪枝技术,即运用早期时间(ET)票据来减少彩票票据原理的搜索时间,该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。
Jul, 2022
本文提出了一种新的方法,通过仅使用一种特殊的数据子集来发现 Lottery Ticket Hypothesis (LTH) 中的胜彩(稀疏而关键的子网络),该子集被称为 Pruning-Aware Critical set (PrAC set),相较于使用全套训练集的方式,使用该子集可以更高效地发现这些胜彩,这篇文章还验证了这种做法在不同网络结构上的适用性。
Jun, 2021
本文通过分析目标函数的几何结构和样本复杂度,理论上证明了剪枝神经网络在加速随机梯度下降算法的特定情况下,训练过程中获得零泛化误差所需的样本数与隐藏层中未被剪枝的权重数成正比,从而提供了对中奖票证明的形式化证明。
Oct, 2021
文章探讨了深度学习神经网络中 Lottery Ticket Hypothesis(LTH)方法对于物体识别、实例分割和关键点预测任务的模型剪枝效果,结果表明通过该方法找到的初始模型可以在不影响性能的情况下达到 80% 的稀疏度。
Dec, 2020
深度神经网络的票证彩票假设强调了重新训练使用迭代幅度修剪过程获得的更稀疏网络所使用的初始化的重要性。这项研究试图通过对幅度修剪过程的各个阶段获得的解决方案的体积 / 几何和损失景观特征进行经验性研究,以揭示票证彩票假设的特定初始化为何在泛化(和训练)性能方面表现更好,并着重研究了幅度修剪和迭代过程的底层原理,如较小幅度权重的修剪和迭代过程的作用。
Mar, 2024
通过研究神经网络模型剪枝,提出了 “Lottery Ticket Hypothesis”,发现神经网络的初始化和学习率等条件会影响最优子网络的提取,同时提出 “Pruning & Fine-tuning” 方法来优化剪枝和训练,实验证明该方法在多种深度神经网络结构上表现出色。
Feb, 2021
本文证明了稀疏子网络(所谓 “奖券假设”)不仅存在于深度神经网络中,而且它所具有的普适性无需进行进一步训练,这一理念可通过本文提出的剪枝推导和显式稀疏结构的方式予以证明。
Nov, 2021