ICLRFeb, 2021

ChipNet：基于 Heaviside 连续逼近的预算感知剪枝

PDF
TL;DR该研究提出了一种新的决策修剪策略 ChipNet，通过连续 Heaviside 函数和新的清晰度损失对现有的密集神经网络进行优化，实现高度的稀疏度，并且具有适应不同预算约束的灵活设计。实验证明，ChipNet 在准确性方面比最先进的结构修剪方法高出多达 16.1％，所得到的修剪掩码具有良好的可转移性。
structured pruningconvolutional neural networksresource efficiencybudget constrainttransferability
发现论文，激发创造
  • 通过结构化连续稀疏化增加深度网络的效率

    本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。

    Jul, 2020

  • 带有预算感知正则化的神经网络结构剪枝

    本研究提出了一种基于预算限制的深度卷积神经网络修剪框架，并利用学习掩码层、创新的预算目标函数以及知识蒸馏等技术进行修剪，实验结果表明，使用我们的方法修剪后的 CNNs 比现有方法更准确、计算更少，同时即使极度剪枝也不影响分类准确度，具有很大的实用价值。

    Nov, 2018

  • 结构化剪枝中连续松弛的泛化

    使用结构化剪枝方法，在不降低推理准确度的情况下，通过算法的网络增强、剪枝、子网络合并和移除，实现了高达 93% 的稀疏度与 95% FLOPs 的减少，同时在分类和分割问题上超过了先进水平，并且避免了在 GPU 上进行计算昂贵的稀疏矩阵运算。

    Aug, 2023

  • FPGA 资源感知的实时神经网络结构剪枝

    通过硬件为中心的修剪公式，我们在神经网络中减少了计算和存储的使用，并在实时推理中取得了显著的资源利用率改进。

    Aug, 2023

  • 成本约束通道剪枝的软遮罩技术

    本研究提出一种新的卷积神经网络通道剪枝方法，采用软化掩码方式剪枝，从而实现网络速度显著加快并限制成本，同时在 ImageNet 分类和 PASCAL VOC 检测数据集上取得了优异的表现。

    Nov, 2022

  • 深度卷积神经网络的辅助门控结构自动分块剪枝

    本文介绍一种基于辅助门控机制的结构化网络剪枝方法，通过给主干网中的块分配重要性标记，并提出了一种块级剪枝的投票策略来解决移动设备上使用卷积神经网络时遇到的成本问题。通过知识蒸馏的三阶段训练计划，提高了模型性能，实现了更好的压缩率。实验证明该方法在分类任务中可以取得最先进的压缩性能。此外，通过提供预训练模型，我们的方法可以与其他剪枝方法协同集成，从而实现比未剪枝模型更优异的性能，并减少了超过 93％的浮点运算。

    May, 2022

  • 深度卷积神经网络的结构化剪枝

    使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

    Dec, 2015

  • 混合剪枝：用于边缘设备快速推理的更薄稀疏网络

    本文介绍了一种混合剪枝方法，将粗粒度通道和细粒度的权重剪枝相结合，以在资源受限设备上部署现代网络时减少模型大小、计算和功率需求，而无损或几乎无损精度的同时，提出了快速灵敏度测试的通道剪枝方法，可以快速确定网络层内部和跨层级的灵敏度，实验表明，即使在通道数硬件友好的约束下，相对于现有工作，ResNet50 在 ImageNet 上的结果显著更好。

    Nov, 2018

  • CRISP: 类间模型修剪的混合结构稀疏化

    该研究提出了一种名为 CRISP 的修剪框架，利用混合结构稀疏模式，结合精细的 N:M 结构稀疏和粗粒度的块状稀疏，通过基于梯度的类感知显著性分数指导修剪策略，以实现对用户特定类别至关重要的权重保留，从而在 ImageNet 和 CIFAR-100 数据集上实现了高精度和最小内存消耗，并与现有修剪方法相比，延迟和能源消耗降低了高达 14 倍，同时保持了可比较的准确性。

    Nov, 2023

  • 卷积神经网络的加速器感知剪枝

    在嵌入式环境中，卷积神经网络因其过多的权重存储和算术运算而未能得到广泛应用，为解决这一问题，本文提出了一种新的修剪方案，以反映加速器架构，通过此方案，性能得到了大幅提升，并成功应用于 AlexNet，VGG16，ResNet，MobileNet 等多种网络模型。

    Apr, 2018