Mar, 2024

计算机视觉任务中的块/输出通道剪枝的分离，动态和可微 (SMART) 剪枝器

HTML
PDF
TL;DR深度神经网络剪枝是减少模型大小、提高推理延迟和降低深度神经网络加速器功耗的一种关键策略。我们介绍了一种新型的、独立且可微的剪枝方法(SMART pruner)，它通过利用独立的、可学习的概率掩码来排名权重重要性，采用可微分的前k个操作符实现目标稀疏性，并利用动态温度参数技巧逃离非稀疏局部最小值。实验证明，SMART pruner在各种任务、模型和剪枝类型上始终表现出优于现有剪枝方法的优越性。此外，在N:M剪枝情况下，我们还针对基于Transformer的模型进行了测试，SMART pruner也取得了最先进的结果，展示了它在各种神经网络架构和剪枝类型上的适应性和鲁棒性。
发现论文，激发创造
  • PruneTrain: 动态稀疏模型重组快速神经网络训练

    我们提出了PruneTrain，这是一种成本高效的机制，可逐步减少训练期间的计算成本，通过使用结构化组套骨骼正则化方法和其他重新配置技术，可以在GPU加速器上高效处理缩小了的卷积神经网络模型，从而实现减少计算成本40％和训练时间39％的效果。

    Jan, 2019

  • 从头开始剪枝

    本文提出了一种新颖的网络修剪流程，允许从随机初始化的权重开始修剪，加速了传统剪枝方法的预训练负担，同时在相同的计算预算下达到了类似甚至更高的准确性。

    Sep, 2019

  • BLK-REW：基于重加权正则化方法的统一基于块的深度神经网络剪枝框架

    本论文提出了一个块级剪枝框架，具有通用的和灵活的结构化剪枝维度，以及强大高效的加权正则化方法和集成了编译器优化的代码优化技术，可用于实时移动加速，同时实现了对CNN和RNN的通用覆盖，无需减小准确性。

    Jan, 2020

  • PruneNet: 全局重要性通道剪枝

    本文提出了一种简单而有效的基于数据驱动优化的频道修剪方法，该方法通过每层发现必要的宽度，以非均匀修剪ResNet-50等深度神经网络，实现了与现有方法相同的FLOP降低率，同时提高了0.98％的准确度，并优于其他深度神经网络如ResNet-34和ResNet-18。

    May, 2020

  • 神经网络压缩中的随机通道剪枝再探讨

    该研究采用随机搜索算法确定裁剪神经网络中通道的配置，比较各种方法的表现，结果发现在这种设置下没有明显的优胜者，这倾向于深入研究通道配置搜索方法。

    May, 2022

  • 用于压缩卷积神经网络的动态结构剪枝

    本文提出了一种名为动态结构修剪的结构修剪方法，基于组梯度学习实现了细粒度修剪，并在训练深度神经网络时优化修剪粒度，实验结果表明在ImageNet数据集上，动态结构修剪对ResNet50模型进行修剪可将FLOPs降低71.85%且不影响模型准确率，并在GPU加速方面优于通道修剪。

    Mar, 2023

  • Archtree: 基于实时树结构探索的深度神经网络低延迟裁剪

    Archtree是一种新的基于延迟驱动的DNN结构修剪方法，通过并行地在树形结构中探索多个候选修剪子模型，实时估计目标硬件的延迟，从而更好地适应延迟预算并保持原始模型准确性。

    Nov, 2023

  • UPDP: 一个用于CNN和Vision Transformer的统一渐进深度修剪器

    我们提出了一种新的深度修剪方法，通过引入新颖的块修剪策略和渐进训练方法，以及将修剪方法扩展到视觉转换器模型，实验证明我们的方法在各种修剪配置下始终优于现有的深度修剪方法。

    Jan, 2024

  • 混合动态剪枝：高效Transformer推理的一种路径

    通过使用头部稀疏性、块稀疏性和近似机会来减少注意力计算和降低内存访问，我们引入了一种新颖的混合动态剪枝算法-架构共设计方法，以加速 Transformer 模型在边缘设备上的部署，同时提出 HDP 协处理器架构来支持这些方法的低延迟和高能效。

    Jul, 2024

  • RL-Pruner：基于强化学习的卷积神经网络结构化剪枝与加速

    本研究解决了卷积神经网络压缩与加速中的结构化剪枝问题，通过引入强化学习，自动学习最佳剪枝分布，从而在保持模型准确性的同时，实现更高效的模型压缩。实验结果表明，RL-Pruner在多种网络模型上表现优异，为神经网络的部署与应用提供了重要的价值。

    Nov, 2024