通过组合迭代剪枝、遮蔽距离计算和选择性重训练等方法，本研究调查并验证了早鸟票假设对 Transformer 模型训练效率的适用性。实验结果表明，在 Transformer 模型的训练或微调的前几个周期内，可以持续发现早鸟票，并且在显著减少资源占用的情况下，可以获得与未剪枝模型相媲美甚至更高的准确率。此外，对比分析突显了早鸟票现象在不同 Transformer 模型和任务中的普适性，为 Transformer 模型的高效训练策略的发展做出了贡献。通过利用早鸟票，从业者可以加速自然语言处理和计算机视觉应用的进展，同时减少 Transformer 模型训练的计算负担。

May, 2024

本篇论文提出了 EarlyBERT，这是一种通用的计算高效的训练算法，可用于大规模语言模型的预训练和微调，通过对自注意和全连接子层进行精简，第一次在 BERT 训练的早期阶段中发现了结构优质的 winning tickets，实验结果表明，与标准 BERT 相比，EarlyBERT 能够在 35-45％的训练时间内实现相当的性能。

Dec, 2020

WORM 方法研究了 Lottery Ticket 假设和 Early Bird 假设，通过利用静态组中的不重要神经元来加速模型训练和减少计算量，提高了模型的鲁棒性并适用于不同的架构。

May, 2024

本研究通过优化对抗训练过程，发现在早期训练阶段（通常为 0.15~0.3 个时期），连通性模式可以提高预训练语言模型（PLMs）的鲁棒性。基于此发现，作者提出了一种高效的对抗训练方法，利用稀疏结构在早期阶段寻找强韧的 “早期票”。实验结果表明，该方法可以在保持鲁棒性水平不变的情况下，实现 7~13 倍的训练加速。

Nov, 2022

我们提出了一种基于抽奖思想的 GCN 图稀疏化方法，并发现了在 GCN 稀疏化过程中出现的图中的 “早起鸟票”（GEB）。我们开发了 GEBT 框架，该框架可通过绘制联合早起鸟票来同时稀疏化 GCN 图和模型，并在多个 GCN 模型和数据集上验证了 GEB 的解决方案的有效性，取得了显著的性能提升。

Mar, 2021

本研究证实了 Lottery Ticket Hypothesis 可适用于 deep generative models 并提出了一种寻找 winning tickets 的有效方法，同时发现这些 winning tickets 有跨模型的传递性，因此可以帮助训练多种深度生成模型，并通过 early-bird tickets 的方式可以大幅减少训练时间和 FLOPs。

Oct, 2020

该文在进行神经网络剪枝过程中提出了 “彩票票假设”，即在一个密集、随机初始化的前馈神经网络中存在一些幸运的子网络，当其被隔离地训练时，可以在相似的迭代次数内达到与原始网络相当的测试准确性，通过一系列实验验证了该假设的正确性和这些幸运初始化的重要性。

Mar, 2018

该论文提出了一种名为 “Gem-Miner” 的方法，它可以在初始化时找到可训练的彩票网络，进而在精度方面击败当前的基线，而且速度比迭代性大小修剪（IMP）快多达 19 倍。

Feb, 2022

该研究使用彩票票据原理，提出了一种适用于深度脉冲神经网络（SNN）的神经剪枝技术，即运用早期时间（ET）票据来减少彩票票据原理的搜索时间，该方法在不降低性能的情况下使得 SNN 的鲁棒性得到了极大提高。

Jul, 2022

本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

May, 2019