- ICLR口罩、标志与学习率重置
通过理解学习率重置在结构和参数学习上的优势，我们能更接近设计更灵活的深度学习算法，能优化各种稀疏架构的集合。
- 初始化时剪枝的信息论障碍
彩票模型的存在考虑了深度学习中是否需要大型模型以及是否可以快速识别和训练稀疏网络，而无需训练包含它们的稠密模型。通过对彩票模型的理论解释，揭示了稀疏网络需要依赖于数据的遮罩来稳定插值噪声数据。研究证实了训练过程中获取的信息可以影响模型容量。
- 深入理解抽奖票：抽奖票加速深入理解
通过抽象算法（Lottery Ticket Hypothesis）从完美记忆到完美泛化的过渡阶段，找到网络参数权重的关键性指标，有效描述了学习模式的转变。
- 约束下的重编程：重新审视彩票票据的高效可靠转移
在计算机视觉领域，本研究通过以稀疏性为约束条件，探索了基于基础模型的线性探测和视觉提示 / 重新编程这两种方法的能力，并验证了对于某些目标数据集，重新编程的稀疏模型低于重新编程的稠密模型的性能，且相应的上游性能相似，同时证明稠密模型的校准始 - 蒸馏修剪：使用合成数据赢得彩票
利用精炼数据来修剪深度学习模型的新方法，通过捕捉精髓模式并利用其能力实现资源高效的神经网络修剪、模型压缩和神经架构搜索。
- AAAI彩票池：通过插值票券获得更多的奖励，而不增加训练或推断的成本
本研究提出一种名为 Lottery Pools 的方法，通过直接平均相邻权重和简单插值策略等优化，以更低的训练和推理成本获得更强的稀疏子网络，进而在各种现代架构上均有效提升了性能。
- Doge Tickets：通过刮刮乐发现领域通用语言模型
本文为了寻求一种领域通用的语言模型，提出从预训练语言模型中鉴别领域无关的参数，实现利用 Doge tickets 方式来提高文本在不同领域上的推广性能优化。通过实验验证表明，将中性参数组成领域通用的语言模型可以得到更好性能。
- 初始化时寻找彩票号码
该论文提出了一种名为 “Gem-Miner” 的方法，它可以在初始化时找到可训练的彩票网络，进而在精度方面击败当前的基线，而且速度比迭代性大小修剪（IMP）快多达 19 倍。
- 基于彩票票据视角的数据高效 GAN 训练（不只是数据增强）
本文提出了一种基于罕见子网络和特征增强的数据有效 GAN 训练方法，可应用于多种 GAN 架构和不同数据集。
- AAAI稀疏神经网络中的梯度流与中奖彩票方法
本文研究稀疏神经网络的训练，并分析了从随机初始化开始训练稀疏神经网络的不良表现以及 Lottery Tickets 和 Dynamic Sparse Training 的例外情况。作者发现稀疏神经网络在初始化时梯度流较差，使用稀疏感知的初始 - 校准和修剪：通过预测校准提高彩票票据的可靠性
本文首次研究了过参数化网络中显式置信度校准对产生的 Lottery Tickets 的影响，并发现采用校准机制可以更有效地提高准确性和校准度。