- 神经网络剪枝状态为何如此混乱？关于公平性，比较设置和网络剪枝中的可训练性
本文解释了神经网络剪枝的两个迷团：更大的微调学习率的性能提升效应和继承预训练权重在滤波剪枝中没有价值的论点，并强调了网络可训练性在剪枝中的核心作用。同时提出关于如何校准剪枝基准的具体建议。
- FedTiny：修剪的联邦学习面向专业小型模型
本文提出一种名为 FedTiny 的分布式修剪框架，通过自适应批量归一化选择模块和轻量级渐进修剪模块，可在有限的计算和存储资源上定制化地修剪神经网络模型，以适应分布式和机密数据的联合学习。实验结果表明，FedTiny 在压缩深度模型的情况下 - 学习 ASR 路径：一种稀疏多语言 ASR 模型
该论文提出了一种稀疏的多语言自动语音识别模型（ASR pathways），其激活特定于语言的子网络（“路径”），从而显式地学习每种语言的参数，具有更好的性能表现。
- ICLR神经剪枝中保持可训练性
本文介绍了一种具有可扩展性的训练可塑性剪枝方法（TPP），该方法通过惩罚卷积内核的克罗内克矩阵来使神经网络保持可训练性，从而在剪枝表现和对再培训超参数的鲁棒性方面得到了改善，特别是在具有非线性结构的 ConvNets 上表现明显优于其他对应 - ICLR证明等变强幸运票假设的一般框架
本文将 Strong Lottery Ticket Hypothesis（SLTH）推广至可保持群作用的网络，即 G-equivariant network, 并证明可以通过对随机初始化的过参数化 G-equivariant network - AutoAdversary：一种用于稀疏对抗攻击的像素修剪方法
本文从神经网络剪枝的角度提出了一种名为 AutoAdversary 的端到端稀疏对抗攻击方法，该方法利用可训练的神经网络自动选择关键像素并生成二进制掩码进行对抗扰动，实验证明其在图像大小增加时不会明显减速且具有优秀的攻击效果。
- 基于神经网络剪枝的迭代微调设计紧凑型视听唤醒词识别系统研究
本文提出了一种使用神经网络剪枝策略的紧凑型音视频唤醒词识别系统，该系统利用 MobileNet 对唇部信息进行编码，并与声学特征进行融合，大大提高了在不同噪声条件下的唤醒词识别性能，可望在电视开机场景下实现实际应用。
- 网络修剪的剪枝感知稀疏正则化
本文提出了一种名为 MaskSparsity 的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在 Deep Learning 领域实现 63.03% 的 FLOP 降低 - 线下增强学习单次剪枝
本研究探讨了如何在离线强化学习中应用神经网络修剪技术，通过离线修剪技术，可以在保证性能的情况下减少神经网络的大小，提高训练效率。实验结果证明在网络被修剪了 95% 的情况下，算法表现依然很好。
- ICLR如何学会不再担忧并热爱重新培训
该研究探讨了神经网络剪枝的相关问题，包括学习率、训练预算、线性学习率表等，并通过提出一个简单而有效的方法来适应性地选择线性表的初始值，进而减少网络的训练时间和复杂度。
- 连通性的重要性：基于有效稀疏度的神经网络剪枝
本文针对神经网络剪枝技术在高稀疏度领域的应用，提出了新的有效稀疏度概念，重定义了性能评价指标，同时开发了一个成本较低的扩展工具，通过评估各种剪枝算法的绝对和相对性能表现，证明新的评价框架下与基于初始化的剪枝算法相比，随机剪枝仍然是一种可行的 - 动态等比性：神经网络剪枝中的遗漏要素
通过动态同构的视角，本文从裁剪作为初始化角度研究了神经网络裁剪，发现直接使用裁剪后的权重作为初始化不利于微调，回答了为什么更大的 fine-tuning 学习速率可以显著提高最终性能的疑问，并揭示了裁剪价值的谜团。
- IJCAI神经网络初始化裁剪的最新进展
这篇论文首次调查了一种新兴的神经网络裁剪方式 —— 在初始化时裁剪（PaI），并介绍了其稀疏训练和稀疏选择两大主要方法。此外，该论文还提供了一个用于不同 PaI 方法的基准测试和检查的代码库。
- CVPR流形正则化动态网络剪枝
本论文提出了一种新的范式，通过将所有实例的流形信息嵌入到裁剪网络的空间中 (称为 ManiDP)，以动态地去除冗余的过滤器以最大化挖掘给定网络架构中的冗余。在几个基准测试中验证了所提出的方法的有效性，在精度和计算成本方面显示出与现有技术方法 - 初始化剪枝的统一路径视角
使用神经切向核的理论近似，通过引入路径核将几种网络剪枝方法统一到单一的路径中心框架下，并分析了其对网络训练动态的影响及其相互关系，进而提出了两种初始化剪枝算法的改进方法。
- SCOP: 可靠神经网络修剪的科学控制
本文提出了一种可靠的神经网络修剪算法，通过建立科学的对照组来增加结果的可靠性，其中利用 knockoff feature 作为对照组，通过实验证明了该算法在 ResNet-101 模型上的参数减少以及 FLOPs 的削减率，与现有的算法相比 - ICLR基于幅度剪枝的层自适应稀疏化
这篇论文针对神经网络修剪方法提出一种基于重要性分数的全局修剪方法（LAMP），不需要人工调参或加重的计算，使用在图像分类任务上表现出优于现有算法的效果。
- ICLR使用 PyTorch 简化 Tensor 和网络剪枝
本文介绍了 PyTorch 中 torch.nn.utils.prune 模块的新扩展，提供了共享的、开源的剪枝功能，以便在模型训练前、中、后减小模型的大小和容量，帮助减少资源有限设备上部署快速、可持续、私密的模型的技术难度。
- 神经网络剪枝的现状是什么？
对神经网络修剪技术的元分析表明当前存在缺乏标准基准和度量标准的不足，该研究提出了 ShrinkBench 框架，用于规范评估修剪方法，以消除修剪技术比较中的常见问题。
- 神经网络剪枝中比较重置和微调
本文提出了两种新的训练技术（Weight Rewinding 和 Learning Rate Rewinding）并将它们与传统 Fine Tuning 技术进行了比较，实验结果表明使用这两种技术进行神经网络剪枝可以获得与其他先进技术相当的