- ICLR动态稀疏训练：通过可训练掩码层从头开始找出高效的稀疏网络
本文介绍了一种新的神经网络剪枝算法 ——Dynamic Sparse Training，它可以通过可训练的剪枝门限实现优化神经网络参数和结构，并通过反向传播动态地进行精细化调整。利用这一算法，我们可以轻松训练出效果优秀的稀疏神经网络。与其他 - ECCVDHP: 通过超网实现可微元剪枝
本文介绍了一种通过超级网络进行自动网络剪枝的可微分剪枝方法。使用该方法进行图像分类、单幅图像超分辨率和降噪等各种网络的实验结果证实了该方法的有效性。
- ICML优秀子网络存在的证明：基于贪婪前向选择的剪枝
我们通过提出一种基于贪心策略的网络修剪方法来证明神经网络修剪的有效性，理论上能够通过在足够大的预先训练的网络上应用贪心选择策略找到具有更低损失的小型子网络，并在 ImageNet 上实现了更好的结果，实践中利用修剪的子网络可以从大型模型中获 - 保持梯度流的情况下在训练之前选择获胜的票数
该研究旨在通过初始修剪神经网络来提高训练和测试时的资源效率。通过保留网络中的梯度流，提出了一个名为 GraSP 的简单但有效的剪枝标准，并在 VGGNet 和 ResNet 架构上进行了广泛实验，证明其在极度稀疏的情况下具有更好的性能。
- 网络剪枝的过滤草图
本文提出了一种新颖的网络剪枝方法 FilterSketch，运用了保留预训练网络权重信息的技巧，通过矩阵描绘，实现了剪枝优化的高效求解，同时不必进行基于数据的迭代优化，节约了大量时间，并且能够在简单微调过程中恢复剪枝网络的表达能力。
- 嵌入式系统资源高效神经网络
本文总结了机器学习中的实际需求和挑战，重点介绍了深度神经网络的三种资源效率技术：量化神经网络，网络剪枝和结构效率，以及它们在诸如 CPU，GPU 和 FPGA 等嵌入式系统中的应用和实验结果。
- 针对深度模型压缩的鉴别感知网络裁剪
该研究介绍了一种简单而有效的方法（称为 DCP），旨在尽可能地选择实际有助于卷积神经网络判别能力的通道，并进一步通过去除多余的内核来压缩深层网络，同时通过自适应停止条件来防止选择冗余的通道 / 内核并实现更好的性能。
- 从头开始剪枝
本文提出了一种新颖的网络修剪流程，允许从随机初始化的权重开始修剪，加速了传统剪枝方法的预训练负担，同时在相同的计算预算下达到了类似甚至更高的准确性。
- ICLR基于信号传播视角的神经网络初始化剪枝
该研究使用一种基于梯度的敏感度准则，阐述了初始化条件和网络结构剪枝的之间的关系，提出一种无需数据的改进方法，可用于图像分类任务中的先剪枝训练。
- 紧凑且稳健的深度神经网络
本文研究了网络剪枝策略的扩展，力图在保留网络的鲁棒性的同时设计更紧凑的神经网络，并基于对现有策略的缺陷进行改进，最终在 CIFAR-10 数据集上取得了不俗的成绩。
- 基于可转换架构搜索的网络剪枝
本文提出了一种新的网络剪枝方法，通过神经结构搜索直接搜索灵活的通道和层大小， 最小化剪枝网络的失误实现通道和层大小的学习，提高了传统的网络剪枝方法， 并有效地区别了不同搜索和知识转移方法的效果。
- KDD高效多任务推理的剪枝感知合并
本文提出了一种网络合并方法 Pruning-Aware Merging (PAM)，在考虑未来网络剪枝的情形下，合并神经网络以达到最小计算成本，实验结果表明与现有方法相比，PAM 可以获得高达 4.87 倍减少计算成本的效果。
- 相同但不同 - 通过权重因式分解恢复神经网络量化误差
本研究利用神经网络中存在的某种自由度，提出了一种基于因式分解的量化神经网络的方法，并证明正确的因式分解能够显著降低量化神经网络的性能损失，在多个网络上取得了最佳效果。
- GASL: 深度神经网络稀疏学习的引导注意力
本研究提出了一种基于可解释的 attention mechanism 的网络修剪方法，能在保持准确率的前提下实现模型压缩和加速，可适用于各种结构的深度神经网络。实验证明，在 Cifar-100 数据集上取得了最高的稀疏度和加速比，与最佳方法 - ICCV高效的结构化裁剪和架构搜索用于群组卷积
本文介绍了一种有效的方法来解决组卷积剪枝的挑战，即将其制定为寻找最优通道置换以施加结构约束并通过启发式方法高效地解决。同时，本方法还应用启发式方法来探索基于估算的剪枝成本的分组配置，以最大化测试准确性。与之前的工作相比，结果表明我们的方法在 - ICLR重新思考网络剪枝的价值
本研究发现，在针对低资源设置中减少深度模型推理成本的网络修剪过程中，训练大模型通常不是获得高效终端模型的必要条件，学到的 “重要” 权重通常对小模型没有用，修剪的架构本身比继承的 “重要” 权重更重要，并且此方法可作为架构搜索范式。本文还比 - 交叉栏感知神经网络剪枝
该论文提出了一种基于 L0-norm 约束优化问题的交叉栏架构感知修剪框架，其中采用了 L0-norm 约束梯度下降（LGD）与弛豫概率投影（RPP）来寻找两个阶段的稀疏性，并提出了输入特征映射（FMs）重新排序方法来提高模型准确性。实验结 - 通道调节神经网络
本研究介绍了通道门控（channel gating）方法，该方法是动态、细粒度且硬件高效的裁剪方案，能够通过跳过对分类结果没有贡献的输入通道的计算，优化卷积神经网络。实验证明，该方法能够在几乎不损失准确度的情况下，实现浮点运算量减少 2.7 - ICLR高效稀疏 Winograd 卷积神经网络
提出两种 Winograd-based 的 CNNs 的修改方法，即将 ReLU 操作移至 Winograd domain 以提高 transformed activations 的 sparsity，以及在 Winograd domain - PackNet：通过迭代修剪将多个任务添加到单个网络
本文提出了一种在单个深度神经网络中添加多个任务同时避免灾难性遗忘的方法。我们利用大型深度网络中的冗余来释放参数，以便学习新任务。通过迭代的剪枝和网络重新训练，我们能够将多个任务逐步 “打包” 到单个网络中，同时确保最小的性能降低和最小的存储