Jun, 2024

衰减修剪方法：具有自纠正过程的平滑修剪

PDF
TL;DR当前的结构化剪枝方法常常由于网络的突变和剪枝结构的信息丢失导致准确率显著下降。为了解决这些问题，我们引入了 Decay Pruning Method (DPM)，一种具有自校正机制的新型平滑剪枝方法。DPM 包括两个关键组成部分：(i) 平滑剪枝：将传统的单步剪枝转化为多步平滑剪枝，在持续优化中逐步将冗余结构减少到零。(ii) 自校正：该过程通过基于梯度信息纠正亚最优剪枝，进一步增强了前述过程。我们的方法表现出了很强的通用性，可以轻松与各种现有的剪枝方法相结合。我们将其与三种流行的剪枝方法 OTOv2、Depgraph 和 Gate Decorator 集成，实验证明与原始剪枝方法相比，性能有持续的改善，并在大多数情况下进一步降低了 FLOPs。
structured pruning methodsdecay pruning methodsmooth pruningself-rectifying mechanismexisting pruning methods
发现论文，激发创造
  • 扩散模型的结构剪枝

    通过在预先训练的扩散模型上进行 Taylor 展开来识别重要的权重，我们提出了 Diff-Pruning 方法，该方法可以高效压缩 diffusion 模型，实现训练和推断过程中 50% 左右的 FLOPs 降低，同时保持与原模型相当的生成行为。

    May, 2023

  • PDP: 无需参数的可导修剪就是你所需的

    提出一种高效、有效的训练时裁剪方案 ——Parameter-free Differentiable Pruning（PDP），可适用于各种视觉和自然语言任务，支持无结构裁剪约束，基于训练时动态权重函数生成软裁剪掩码并得到最新的模型大小、精确度和培训成本。

    May, 2023

  • 可微运输剪枝

    本文提出一种新的精确剪枝技术，利用有效的最优传输方案，使得算法自动调整探索 - 开发行为，从而在 3 个不同的数据集、5 个不同的模型、各种剪枝比例和两种稀疏度预算和剪枝颗粒度等方面均取得了先进的性能。

    Jul, 2023

  • 使用 ADMM 进行深度神经网络的渐进剪枝

    该篇论文提出了一种基于 ADMM 的渐进式权重剪枝方法，可以在中等剪枝率下进行局部剪枝，从而达到极高的剪枝速率，避免了准确度降低和收敛速度缓慢的问题。该方法在 ImageNet 和 MNIST 数据集上实现了高达 34 倍和 167 倍的剪枝速率。

    Oct, 2018

  • ResNet 裁剪 60 倍：引入网络净化和剔除未使用路径（P-RM）在权重裁剪之后

    提出一种融合 ADMM 算法和滤波器和列剪枝技术的 DNN 框架，包括网络净化和未使用通路去除算法，可在 LeNet-5、ResNet-18 CIFAR-10 和 AlexNet 上实现 232 倍、60 倍和 5 倍的压缩，以减少 DNN 框架资源的高计算和大内存存储的挑战。

    Apr, 2019

  • 增量剪枝：一种针对部分可观测马尔可夫决策过程的简单、快速、精确方法

    本研究探讨了部分可观察马尔可夫决策过程（POMDPs）的精确算法，利用动态规划将值函数的分段线性和凸表示转换为另一个表示，并比较了增量修剪方法的变种与更早的算法在理论和实证方面的差异。我们发现增量修剪是目前解决 POMDPs 最有效的精确方法。

    Feb, 2013

  • 梯度下降剪枝神经网络

    我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数的 0.15％。此外，我们的框架提升了神经网络的可解释性，不仅能够轻松从剪枝网络中提取特征重要性，而且能够可视化特征对称性和信息传递路径，学习策略通过深度学习得到，但却令人惊讶地直观且可理解，专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。

    Nov, 2023

  • AutoDFP：通过通道相似重建自动无数据修剪

    我们提出了一种自动剪枝和重构的无数据方法（AutoDFP），该方法基于强化学习，通过评估每层通道的相似性来指导网络的剪枝和重构过程，并在多个数据集上实现了令人印象深刻的压缩结果。

    Mar, 2024

  • DMCP：神经网络可微分马尔可夫通道剪枝

    本文提出了一种基于马尔可夫过程的可微信道修剪方法 Differentiable Markov Channel Pruning (DMCP)，它可以通过梯度下降直接优化标准任务损失和预算规则来有效地搜索最优子结构，并可以在各种 FLOPs 设置中实现比现有最优修剪方法更为准确和优秀的结果。

    May, 2020

  • 通过结构化连续稀疏化增加深度网络的效率

    本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。

    Jul, 2020