本文提出了一种搜索被称为 "lottery jackpots" 的高性能、稀疏的子网络的方法，通过使用基于幅值的裁剪技术初始化稀疏掩码并使用短限制方法减少训练损失，从而提高搜索效率和准确性。

Apr, 2021

该研究提出了一种名为 ProbMask 的基于概率空间的有效网络稀疏化方法，通过使用概率作为全局标准来度量权重重要性。 通过我们的约束，可以自动学习权重冗余度，避免为不同层调整剪枝率的问题，表现优异在 CIFAR-10/100 和 ImageNet 等数据集上，尤其是在高剪枝率情况下超过现有的最先进方法。

May, 2021

使用迭代幅度裁剪算法（IMP）研究了在网络训练早期找到高度稀疏且匹配的子网络的原理，其操作是迭代循环的训练，屏蔽最小的幅度权重，回溯到早期的训练点，然后重复，结果表明：错误景观（error landscape geometry）的平坦度决定了每次 IMP 迭代中可以修剪的权重比例的限制。

Oct, 2022

本文介绍了一种新的 IMP 修剪算法，用于提前训练深层网络而不是仅在初始化时进行修剪，从而找到可在更挑战的任务上与原始网络准确匹配的深层次子网络，并提出了结果。新的 IMP 算法可以更好地稳定修剪子网的训练参数，这为之后更早地修剪大规模网络提供了新的机遇。

Mar, 2019

在同等模型大小约束下，大而稀疏的模型普遍比小而密集的模型具有更高的准确性。因此，本文提出了一种模型修剪策略，首先以设计的随机方式生成多个修剪掩码，然后通过一个有效的掩码选择规则从候选掩码组中选择最优掩码。为了进一步提高效率，引入了一种早期掩码评估策略，减少了训练多个掩码的开销。在 GLUE 数据集的八个数据集上进行了广泛的实验证明，该方法在高稀疏水平下实现了最先进的性能。

Oct, 2023

本研究提出了一种新的稀疏训练技术，使用 “幽灵” 神经元和跳跃连接等训练初始策略来提高性能和稳定性，适用于各种稀疏掩蔽方法下的深度学习网络

Jun, 2022

本文提出了一种新颖的幅值剪枝方法，通过重新参数化和两个监督双向网络来保证被提取的子网络具有拓扑一致性，从而显著增强了其泛化能力，本方法在基于图卷积神经网络的骨架动作识别任务上经过了广泛的实验证明。

Jun, 2023

该研究提出了一种基于连续稀疏化的新型算法，用于寻找高效的、稀疏的深度神经网络模型。实验结果表明，在修剪和寻找稀疏子网络方面，我们均超过了现有方法的最新技术水平，包括 VGG 在 CIFAR-10 上训练和 ResNet-50 在 ImageNet 上训练等。

Dec, 2019

彩票模型的存在考虑了深度学习中是否需要大型模型以及是否可以快速识别和训练稀疏网络，而无需训练包含它们的稠密模型。通过对彩票模型的理论解释，揭示了稀疏网络需要依赖于数据的遮罩来稳定插值噪声数据。研究证实了训练过程中获取的信息可以影响模型容量。

Feb, 2024

该研究介绍了一种名为 Iterative Weight Recycling 的算法，该算法可在初始化的神经网络中识别重要权重的子集以供重复使用，可以提高模型稀疏度，此外还支持了多奖励彩票票据假设的互补结果，即高精度，随机初始化的子网络产生多样的掩码，展现了高度的变异性。

Mar, 2023