篡改彩票：使所有彩票获奖

Nov, 2019

Rigging the Lottery: Making All Tickets Winners

Utku Evci, Trevor Gale, Jacob Menick, Pablo Samuel Castro, Erich Elsen

TL;DR本论文提出了一种方法来训练稀疏神经网络，使其在训练过程中保持固定参数数量和固定的计算成本，同时不损失相对于现有密集到稀疏训练方法的准确性，该方法通过使用参数大小和不频繁的梯度计算来更新稀疏网络的拓扑结构。在多种网络和数据集上，我们展示了稀疏训练结果在 ResNet-50、MobileNets on Imagenet-2012、以及 RNNs on WikiText-103 方面的最新技术进展。最终，我们提供了一些见解，为什么允许在优化过程中更改稀疏神经网络拓扑结构可以克服当拓扑结构保持静态时遇到的局部极小值。

Abstract

Many applications require sparse neural networks due to space or inference time restrictions. There is a large body of work on training dense networks to yield sparse networks for inference, but this limits the size of the largest trainable sparse model to that of the largest trainable

sparse neural networks fixed parameter count computational cost topology update flops

发现论文，激发创造

校准操纵彩票：使所有选票可靠

本研究提出了一种新的稀疏训练方法，利用两个掩码来生产具备优化置信度校准的稀疏模型，文中实验证明，该方法使 ECE 值下降了达 47.8％，并且同时保持或提高准确性，而只需稍微增加计算和存储负担。

Feb, 2023

彩票假说：寻找稀疏的可训练神经网络

该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

Mar, 2018

稀疏转移学习中的优胜彩票算法

本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

May, 2019

连续稀疏化在中奖彩票中的应用

该研究提出了一种基于连续稀疏化的新型算法，用于寻找高效的、稀疏的深度神经网络模型。实验结果表明，在修剪和寻找稀疏子网络方面，我们均超过了现有方法的最新技术水平，包括 VGG 在 CIFAR-10 上训练和 ResNet-50 在 ImageNet 上训练等。

Dec, 2019

将多张小票叠加为一张：稀疏神经网络训练的性能提升器

本文提出了一种用有限的训练资源制造多个性价比高的稀疏神经网络子网络，并将它们叠加在一起形成一个更加强大的子网络的新型稀疏训练方法 Sup-tickets，该方法可以同时满足在标准训练时间内有效地生成多个低损失子网络和有效地将这些低成本子网络叠加成一个更强的子网络的两个愿望。在 CIFAR-10/100 和 ImageNet 等各种现代架构上展示了 Sup-tickets 的一致性性能改进。

May, 2022

深度生成模型中的中奖彩票

本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的传递性，因此可以帮助训练多种深度生成模型，并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。

Oct, 2020

初始化时寻找彩票号码

该论文提出了一种名为 “Gem-Miner” 的方法，它可以在初始化时找到可训练的彩票网络，进而在精度方面击败当前的基线，而且速度比迭代性大小修剪（IMP）快多达 19 倍。

Feb, 2022

成功将稳定化彩票假设应用于 Transformer 结构

研究表明，通过稀疏模型、神经网络和剪枝技术等手段，可以在交互式设备和时间关键型计算中快速实现预测，找到了一种新的剪枝技术，该技术不仅优于其他技术，而且对于高密度稀疏性水平的情况具有很大的优势。

May, 2020

双重彩票神经元假设

本论文提出 Dual Lottery Ticket Hypothesis 和 Random Sparse Network Transformation 实现稀疏神经网络训练，并通过实验证明了其有效性。

Mar, 2022

粗化粒度：朝向结构稀疏的彩票神经元

本文提出一种新方法，通过迭代的裁剪与一系列 “后处理技术”，找到带有结构化稀疏性的获奖子网络，从而在不影响模型精度的情况下，显著提高模型的推理速度。

Feb, 2022