通过组合迭代剪枝、遮蔽距离计算和选择性重训练等方法，本研究调查并验证了早鸟票假设对 Transformer 模型训练效率的适用性。实验结果表明，在 Transformer 模型的训练或微调的前几个周期内，可以持续发现早鸟票，并且在显著减少资源占用的情况下，可以获得与未剪枝模型相媲美甚至更高的准确率。此外，对比分析突显了早鸟票现象在不同 Transformer 模型和任务中的普适性，为 Transformer 模型的高效训练策略的发展做出了贡献。通过利用早鸟票，从业者可以加速自然语言处理和计算机视觉应用的进展，同时减少 Transformer 模型训练的计算负担。

May, 2024

本文从彩票猜想的角度探究了大型基于 Transformer 的模型可以通过剪枝获得可比拟完整模型性能的子网络。使用结构剪枝和数量剪枝对 Fine-tuned BERT 进行实验，发现即使是最差的子网络也表现良好，表明预训练 BERT 的大多数权重可能都是有用的。

May, 2020

本文采用彩票票据假说来研究预训练的 BERT 模型是否存在可训练的、可转移的子网络，发现在一些任务上存在符合条件的子网络，这些子网络在初始化时即可被找到，其中在与预训练任务相同的任务上找到的子网络具有普适的迁移性，而在其他任务上找到的子网络则具有有限的迁移性。

Jul, 2020

本文通过对 BERT 子网络的研究发现直接优化子网络结构能更好地保留预训练性能，探究了幸运彩票假设、幅度剪枝和二值掩码训练等方法在 BERT 子网络中的应用，发现二值掩码训练方法在寻找改进 BERT 子网络性能方面更加有效。

Apr, 2022

该研究探讨了 Lottery Ticket Hypothesis 理论，在预训练语言模型这样极度超参数化的模型中，如何通过压缩 ratio 选定一组 “winning tickets” 子模型来匹配全模型的性能。另外观察到当 compression ratio 达到某个临界点时，性能会出现相位转变现象，我们称此时被删减对临界点最立竿见影的超票为 “super tickets”，实验证明它们对 BERT-base 和 BERT-large 的单任务微调平均得分分别有 0.9 和 1.0 的提升，多任务学习时的共享也取得了提升。

May, 2021

本文提出了一种发现神经网络的优胜子网络（winning tickets）的方法 ——early-bird tickets，可以利用低成本的训练方案（如早停训练和低精度训练）在较早的训练阶段发现，并通过提出的 mask distance 度量快速识别，最终实现了基于 early-bird tickets 的高效训练方法，可以在追求高精度的情况下实现高性能且更低能耗的深度神经网络训练，相关代码公开可用于链接中。

Sep, 2019

本研究通过优化对抗训练过程，发现在早期训练阶段（通常为 0.15~0.3 个时期），连通性模式可以提高预训练语言模型（PLMs）的鲁棒性。基于此发现，作者提出了一种高效的对抗训练方法，利用稀疏结构在早期阶段寻找强韧的 “早期票”。实验结果表明，该方法可以在保持鲁棒性水平不变的情况下，实现 7~13 倍的训练加速。

Nov, 2022

本文介绍了 EarlyBIRD 方法，用于在预训练的 transformer 模型的早期层中构建代码的组合表示，旨在提高软件工程任务的性能，并可用于漏洞检测和类型推断。实验证明早期层的组合可在使用同样资源的情况下获得更好的结果，并能在微调和推断期间降低资源使用。

May, 2023

本文通过实证研究发现，大规模的预训练 VL 模型中存在可训练的子网络，该子网络可通过精细修剪结构实现高精度计算并具有良好的通用性。

Apr, 2021

本文介绍了一种修改的 transformer 编码器 --NarrowBERT，其通过使自注意力查询和前向层仅在预训练期间的屏蔽令牌上操作，从而增加了掩码语言模型预训练的吞吐量。 此外，本文还显示，与 MNLI 等句子编码任务相比，NarrowBERT 在推理时间的吞吐量提高了多达 3.5 倍，性能降低最小（或没有），并且在 IMDB，亚马逊评论分类和 CoNLL NER 任务上的 NarrowBERT 表现也与标准 BERT 相当。

Jan, 2023