Jun, 2019

神经网络剪枝的重要性评估

PDF
TL;DR本文介绍了一种以结构削减神经网络参数为主要内容的新方法，可通过估算神经元对最终损失的贡献并逐步去除小分值的神经元来减少计算、能量和内存传输成本。对于在 ImageNet 上训练的现代网络，我们测量了我们的方法计算的贡献与真实重要性的可靠估计之间的高度（>93％）相关性。使用所提出的方法进行修剪可实现在准确性，FLOPs 和参数减少方面的超越最新技术的改进。在 ResNet-101 上，我们通过删除 30％的参数实现了 40％的 FLOPs 减少，在 ImageNet 的前 1 个准确度方面损失了 0.02％。
structural pruningneural network parameterscomputation efficiencyenergy efficiencyflops reduction
发现论文，激发创造
  • 用于实时息肉分割的神经网络剪枝

    本研究使用神经网络修剪技术在息肉分割领域应用，通过计算卷积滤波器的重要性得分并移除得分最低的滤波器，有效减少参数数量和 FLOPs，而保持相似的精度。

    Jun, 2023

  • 神经网络剪枝中基于随机梯度的重要性估计

    使用启发式方法来估计神经元的全局重要性，通过传播随机梯度并对梯度幅度进行归一化，改进了现有方法的性能，适用于 ResNet 和 VGG 架构以及 CIFAR-100 和 STL-10 数据集。

    Oct, 2023

  • 网络剪枝分析的梯度流框架

    该篇研究通过梯度流的方式，研究了深度神经网络早期剪枝的影响，通过多组实验验证了几种不同的影响度量标准，从而在神经网络剪枝的早期阶段提出了一种更加有效的剪枝方法。

    Sep, 2020

  • 是滤波剪枝，还是层剪枝，这是一个问题

    本文提出了 LayerPrune 框架，相较于传统基于 filter 的剪枝方法，LayerPrune 基于不同的剪枝指标实现了更高的延迟降低，并使用相同的 filter 重要性判定剪枝最不重要的层，较好地平衡了准确率和删除率。

    Jul, 2020

  • 高效神经网络的可证明滤波裁剪

    本文采用基于采样的方法对超参数化网络中的冗余卷积神经网络滤波器进行识别和剔除，方法可同时进行数据术语构造采样分布并保证压缩后的网络在性能和大小方面有证明保证，适用于不同的网络体系结构和数据集。

    Nov, 2019

  • 高效保留模型准确性的自动神经网络剪枝

    本文提出一种自动修剪方法来减少神经网络中的 FLOPs，该方法通过引入可训练瓶颈来学习哪些神经元需要被保留以保持模型准确性，实验证明，该方法可以在保持模型准确性的前提下显著减少模型的 FLOPs。

    Nov, 2021

  • 深度神经网络的数据无关参数剪枝

    本研究探讨在已训练的神经网络模型中修剪神经元的问题并提出了一种系统性的方式去除冗余的相似神经元，并且通过在 MNIST 训练网络中修剪密集连接层，达到 85％ 的总参数去除率，在 AlexNet 上达到 35％去除率，并且没有明显影响其性能。

    Jul, 2015

  • 学习权重和连接以实现高效神经网络

    通过三步法修剪不必要的神经元连接，我们成功将 AlexNet 的参数从 6100 万精简到了 670 万，无性能损失。

    Jun, 2015

  • 一种基于熵的 CNN 压缩剪枝方法

    本研究提出了一种基于熵的滤波器重要性评估方法，使用该方法来加速和压缩现有的卷积神经网络模型，并通过对过滤器进行快速修剪和精细调整来优化模型的计算性能和泛化能力，以在 ILSVRC-12 基准测试中取得了良好的性能表现，能够在不牺牲模型精度情况下将模型压缩大约 16.64 倍。

    Jun, 2017

  • NISP：使用神经元重要性得分传播剪枝网络

    本论文提出了通过神经元网络联合剪枝最小化最终权值层的重建误差来提升 CNN 的计算效率与压缩率的方法，并推导了闭合形式的解决方案来解决神经元剪枝问题。结果表明，利用该方法可以实现显著的加速和压缩，且几乎不影响 CNN 的预测能力。

    Nov, 2017