通过轻量级的基于梯度的搜索方法和硬件感知的方式，结合稀疏化和混合精度量化的优化技术，在减小延迟和内存占用方面获得 Pareto 最优的准确性与成本（即延迟或内存）之间的深度神经网络。

Jul, 2024

神经网络规模和复杂性增加时，推理速度下降。通道剪枝是一种最有效的压缩技术之一，它从权重中删除通道。然而，在模型的多分支部分，通道的删除可能会引入推理时的内存复制。为了解决这个问题，我们提出了一种新的算法 UPSCALE，通过重新排序通道以减少内存复制和去除约束来提高模型性能。该算法在后训练剪枝模型的 ImageNet 准确性上平均提高 2.1 个百分点，并且可提高高出基线导出的推理速度多达 2 倍。

Jul, 2023

通过将神经网络的深度、宽度和分辨率三个维度综合考虑，将修剪问题视为一个最优化问题，并使用多项式回归的方法确定最优解，实现神经网络修剪，进而提出了两种方法来缩短训练回归所需的时间，并进行实验验证，表明我们提出的算法超越了最新的修剪算法和神经结构搜索算法。

Oct, 2020

本文提出了 LayerPrune 框架，相较于传统基于 filter 的剪枝方法，LayerPrune 基于不同的剪枝指标实现了更高的延迟降低，并使用相同的 filter 重要性判定剪枝最不重要的层，较好地平衡了准确率和删除率。

Jul, 2020

本文提出了一种新的通道剪枝方法，通过使用基线模型的中间输出和剪枝模型的分类损失来监督分层通道选择，并通过考虑重建误差、附加损失和分类损失来显著提高剪枝模型的性能。

Feb, 2019

本文介绍了一种混合剪枝方法，将粗粒度通道和细粒度的权重剪枝相结合，以在资源受限设备上部署现代网络时减少模型大小、计算和功率需求，而无损或几乎无损精度的同时，提出了快速灵敏度测试的通道剪枝方法，可以快速确定网络层内部和跨层级的灵敏度，实验表明，即使在通道数硬件友好的约束下，相对于现有工作，ResNet50 在 ImageNet 上的结果显著更好。

Nov, 2018

本文提出通过修剪每层维度中对输出结果的影响程度很小的特征维度，使用 LASSO 回归公式设计修剪框架来加速 GNN 推理。针对计算和存储情景，设计了修剪方案。此外，还有效地存储和重复利用已访问节点的隐藏特征，显著降低了计算目标嵌入所需支持节点的数量。本文在五个流行数据集上和一个实时垃圾邮件检测应用中评估了所提出的方法，证明剪枝 GNN 模型大大降低了计算和存储使用，同时几乎不影响准确度。

May, 2021

本文介绍一种基于辅助门控机制的结构化网络剪枝方法，通过给主干网中的块分配重要性标记，并提出了一种块级剪枝的投票策略来解决移动设备上使用卷积神经网络时遇到的成本问题。通过知识蒸馏的三阶段训练计划，提高了模型性能，实现了更好的压缩率。实验证明该方法在分类任务中可以取得最先进的压缩性能。此外，通过提供预训练模型，我们的方法可以与其他剪枝方法协同集成，从而实现比未剪枝模型更优异的性能，并减少了超过 93％的浮点运算。

May, 2022

通过硬件感知延迟剪枝（HALP）将结构剪枝作为全局资源分配优化问题，同时控制延迟在预定义的预算下最大化准确性。 HALP 使用延迟查找表来跟踪延迟减少潜力，使用全局显着性得分来评估准确度降低，并可以在剪枝期间非常高效地评估这两个指标，使我们能够在目标约束下重构全局结构剪枝问题，从而通过我们的增强型背包求解器解决问题，从而使 HALP 在剪枝效果和准确性效率平衡方面超越以前的工作。

Oct, 2021

Archtree 是一种新的基于延迟驱动的 DNN 结构修剪方法，通过并行地在树形结构中探索多个候选修剪子模型，实时估计目标硬件的延迟，从而更好地适应延迟预算并保持原始模型准确性。

Nov, 2023