- 推理与干扰：在差分隐私随机梯度下降中剪裁、修剪和损失景观的作用
差分隐私随机梯度下降（DP-SGD）相对于普通随机梯度下降（SGD）在大型神经网络上具有较差的训练和测试性能。通过对两种方法的详细研究和比较，我们揭示了一些新的见解。通过分别分析 DP-SGD 在早期和晚期阶段的行为，我们发现 DP-SGD - 具有拓扑一致剪枝的小型图卷积网络
本文提出了一种新颖的幅值剪枝方法，通过重新参数化和两个监督双向网络来保证被提取的子网络具有拓扑一致性，从而显著增强了其泛化能力，本方法在基于图卷积神经网络的骨架动作识别任务上经过了广泛的实验证明。
- 标签噪声下量化彩票：准确性，校准和复杂度
本文介绍了一种使用稀疏双下降方法鉴定和表征与分类任务相关的剪枝模型，该方法对网络大小变化具有鲁棒性，并表明剪枝模型不仅具有更好的计算性能，而且可以更好地表示学习中的不确定性。
- 神经网络常微分方程求解器中获胜彩票的可转移性
通过重整化群理论及迭代幅度修剪的方式优化神经网络，找到了适用于 Hamiltonian Neural Networks 的神奇票据，并且发现了它们的普适性.
- 利用必不可少的连接学习如何学习
提出一种名为 Meta-LTH 的新型元学习方法，使用 magnitude pruning 科技进行必要连接的生成，其可有效解决 few-shot learning 问题，该方法通过学习新的低级特征并在元测试阶段重新组合这些特征来更加自适应 - 揭开彩票假设：揭示中奖彩票遮罩中所编码的信息
使用迭代幅度裁剪算法（IMP）研究了在网络训练早期找到高度稀疏且匹配的子网络的原理，其操作是迭代循环的训练，屏蔽最小的幅度权重，回溯到早期的训练点，然后重复，结果表明：错误景观（error landscape geometry）的平坦度决定 - 深度学习中生物学的角色
本文回顾了人工神经网络历史并将现代理论神经科学应用于深度学习领域中的实验，使用迭代幅值剪枝来训练稀疏连接的网络，发现仅仅靠权重稀疏并不能提高图像的噪声鲁棒性，最近，开发出利用权重稀疏性，活性稀疏性和主动树突建模来方便持续学习的模型，本文重新 - AAAI彩票池：通过插值票券获得更多的奖励，而不增加训练或推断的成本
本研究提出一种名为 Lottery Pools 的方法，通过直接平均相邻权重和简单插值策略等优化，以更低的训练和推理成本获得更强的稀疏子网络，进而在各种现代架构上均有效提升了性能。
- COLING自然语言任务上结合压缩的乘法尺度缩放
本研究在六个 BERT 架构和八个 GLUE 任务上探究了神经网络压缩方法中的量化、知识蒸馏和幅度修剪，发现量化和知识蒸馏提供了比修剪更大的好处，同时多种方法的组合具有协同减小模型大小的效果。
- ACL通过任务无关的掩码训练在 BERT 转移上学习赢得彩票的方法
本文通过对 BERT 子网络的研究发现直接优化子网络结构能更好地保留预训练性能，探究了幸运彩票假设、幅度剪枝和二值掩码训练等方法在 BERT 子网络中的应用，发现二值掩码训练方法在寻找改进 BERT 子网络性能方面更加有效。
- ICML粗化粒度：朝向结构稀疏的彩票神经元
本文提出一种新方法，通过迭代的裁剪与一系列 “后处理技术”，找到带有结构化稀疏性的获奖子网络，从而在不影响模型精度的情况下，显著提高模型的推理速度。
- MMCHAMP: 一种相干的硬件感知的光子集成神经网络稀疏化方法
本文提出了一种新颖的针对相干光子神经网络的硬件感知幅值剪枝技术，该技术可以剪枝掉网络参数的 99.45％，并将静态功耗降低了 98.23％，同时精度损失可以忽略不计。
- EMNLP低资源双重限制：一项关于剪枝用于低资源机器翻译的实证研究
本研究探讨了在数据受限制的情况下使用压缩技术的影响，以及使用 magnitude pruning 的机器翻译任务中，在低资源情况下尽量保留性能的方法（使用稀疏性来避免 Memorization of low frequency attrib - ICLR研究彩票票据剪枝掩模的一致性和组合性
本文研究了采用多轮训练的方式，是否能够提高特定体系结构的准确度与稀疏性之间的平衡，并在共享的 ResNet-20 初始化的基础上使用不同的 SGD 数据顺序训练多个网络副本来实现。我们的实验结果显示，采用多轮训练的思路与一次性的基于幅度裁剪 - 运动剪枝：通过微调实现自适应稀疏性
本文提出一种基于移动修剪的权重修剪方法，相比于纯监督学习中使用的幅度修剪方法，更适用于预训练模型微调，实验证明在高稀疏度下，此方法对预训练语言模型的剪枝效果更好，结合蒸馏技术最大程度地减小模型参数，同时保持模型准确率。
- ACL成功将稳定化彩票假设应用于 Transformer 结构
研究表明，通过稀疏模型、神经网络和剪枝技术等手段，可以在交互式设备和时间关键型计算中快速实现预测，找到了一种新的剪枝技术，该技术不仅优于其他技术，而且对于高密度稀疏性水平的情况具有很大的优势。