校准操纵彩票：使所有选票可靠
本论文提出了一种方法来训练稀疏神经网络，使其在训练过程中保持固定参数数量和固定的计算成本，同时不损失相对于现有密集到稀疏训练方法的准确性，该方法通过使用参数大小和不频繁的梯度计算来更新稀疏网络的拓扑结构。在多种网络和数据集上，我们展示了稀疏训练结果在 ResNet-50、MobileNets on Imagenet-2012、以及 RNNs on WikiText-103 方面的最新技术进展。最终，我们提供了一些见解，为什么允许在优化过程中更改稀疏神经网络拓扑结构可以克服当拓扑结构保持静态时遇到的局部极小值。
Nov, 2019
本文首次研究了过参数化网络中显式置信度校准对产生的 Lottery Tickets 的影响，并发现采用校准机制可以更有效地提高准确性和校准度。
Feb, 2020
本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的传递性，因此可以帮助训练多种深度生成模型，并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。
Oct, 2020
本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。
May, 2019
研究表明，通过稀疏模型、神经网络和剪枝技术等手段，可以在交互式设备和时间关键型计算中快速实现预测，找到了一种新的剪枝技术，该技术不仅优于其他技术，而且对于高密度稀疏性水平的情况具有很大的优势。
May, 2020
本文提出了一种基于学习二进制权重掩码的新方法，用于识别原始 PLM 中隐藏的强健 Ticket，并设计了一个对抗性损失目标来引导寻找强健的 Ticket，并确保票据在准确性和鲁棒性方面表现良好。
Nov, 2022
该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。
Mar, 2018
该研究提出了一种基于连续稀疏化的新型算法，用于寻找高效的、稀疏的深度神经网络模型。实验结果表明，在修剪和寻找稀疏子网络方面，我们均超过了现有方法的最新技术水平，包括 VGG 在 CIFAR-10 上训练和 ResNet-50 在 ImageNet 上训练等。
Dec, 2019
通过研究 Lottery Ticket 算法的重要组成部分，本文发现把权重设置为零、知道符号的重要性和然后掩盖行为类似于训练的原因，并发现存在 Supermasks，将其应用于未经训练的网络可产生比机会更好的性能模型。
May, 2019