本文针对在边缘设备上部署复杂深度学习模型的挑战，提出了两种基于激活函数的迭代剪枝方法，通过研究结构剪枝与权重剪枝方法的区别，说明结构剪枝会更适合在通用硬件上实现。与权重剪枝相比，这两种方法能更好地压缩模型，并实现更高的准确性。

Jan, 2022

本文分析了彩票假设下利用迭代幅值剪枝方法对梯度流训练的线性模型进行裁剪的过程，并探讨了 IMP 作为一种稀疏估计方法的效果。

Jul, 2020

本文介绍了一种新的 IMP 修剪算法，用于提前训练深层网络而不是仅在初始化时进行修剪，从而找到可在更挑战的任务上与原始网络准确匹配的深层次子网络，并提出了结果。新的 IMP 算法可以更好地稳定修剪子网的训练参数，这为之后更早地修剪大规模网络提供了新的机遇。

Mar, 2019

使用迭代幅度裁剪算法（IMP）研究了在网络训练早期找到高度稀疏且匹配的子网络的原理，其操作是迭代循环的训练，屏蔽最小的幅度权重，回溯到早期的训练点，然后重复，结果表明：错误景观（error landscape geometry）的平坦度决定了每次 IMP 迭代中可以修剪的权重比例的限制。

Oct, 2022

本文探讨了深度神经网络（DNNs）的复杂世界，专注于激动人心的 Lottery Ticket Hypothesis（LTH）的概念。LTH 假设在大量的 DNNs 中，较小的可训练子网络（称为 “中奖票”）可以达到与完整模型相当的性能。我们进一步研究了发现这些中奖票以及它们的 “通用性”，即检查在一个特定问题上表现良好的中奖票是否也可以在其他相似问题上表现良好。我们还弥合了物理学中的 Iterative Magnitude Pruning（IMP）和 Renormalisation Group（RG）理论之间的差距，进一步促进 IMP 的更严谨理解。

Aug, 2023

本文介绍了一种使用稀疏双下降方法鉴定和表征与分类任务相关的剪枝模型，该方法对网络大小变化具有鲁棒性，并表明剪枝模型不仅具有更好的计算性能，而且可以更好地表示学习中的不确定性。

Jun, 2023

本文介绍了一种名为 Instant Soup Pruning (ISP) 的卷积神经网络模型剪枝方法，使用该方法在不需要昂贵硬件的情况下，生成小型剪枝模型子网络，并成功将该方法应用于两个大规模预训练模型：CLIP 和 BERT，我们的实验结果表明，与其他剪枝方法相比，ISP 非常有效。

Jun, 2023

深度神经网络的票证彩票假设强调了重新训练使用迭代幅度修剪过程获得的更稀疏网络所使用的初始化的重要性。这项研究试图通过对幅度修剪过程的各个阶段获得的解决方案的体积 / 几何和损失景观特征进行经验性研究，以揭示票证彩票假设的特定初始化为何在泛化（和训练）性能方面表现更好，并着重研究了幅度修剪和迭代过程的底层原理，如较小幅度权重的修剪和迭代过程的作用。

Mar, 2024

近期，双层优化（BLO）在信号处理和机器学习领域中取得了重要进展，本文提供了这一类可计算双层优化问题的基本概念、标准算法及其在信号处理和机器学习等领域应用中的最新进展，并指出了当前研究的一些局限性和需要未来深入探索的方向。

Aug, 2023

本文提出了一种弹性彩票假设（Elastic Lottery Ticket Hypothesis），证明了通过适当地调整一种深度学习神经网络的层级结构，可以从同一类神经网络的另一个较深或较浅网络中拉伸或压缩其获胜彩票，从而实现相当于 IMP 直接发现的性能。

Mar, 2021