Sep, 2018

2PFPCE：基于条件熵的两阶段过滤剪枝

PDF
TL;DR本文提出了一种新的基于条件熵的两阶段滤波器修剪框架，即 2PFPCE，来压缩 CNN 模型并减少推理时间，实验结果表明，将整体和逐层两种滤波策略结合起来可以实现更高的神经网络压缩比，并且可以取得高达 10 倍的 FLOPs 降低和 46% 的推理时间降低率，在精度下降 2％的情况下。
deep convolutional neural networksfilter-pruning frameworkconditional entropyneural network compression ratioinference time reduction
发现论文，激发创造
  • 一种基于熵的 CNN 压缩剪枝方法

    本研究提出了一种基于熵的滤波器重要性评估方法，使用该方法来加速和压缩现有的卷积神经网络模型，并通过对过滤器进行快速修剪和精细调整来优化模型的计算性能和泛化能力，以在 ILSVRC-12 基准测试中取得了良好的性能表现，能够在不牺牲模型精度情况下将模型压缩大约 16.64 倍。

    Jun, 2017

  • Play and Prune: 适应性滤波剪枝用于深度模型压缩

    本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法，该方法同时对 CNN 模型参数进行剪枝和微调，具有自适应剪枝率和可直接指定误差容限等特点，在不损失准确性的情况下，有效减少了 VGG-16 的参数数量和 FLOPS。

    May, 2019

  • 面向资源受限的卷积神经网络的分层补偿剪枝

    本研究提出一种新算法 —— 层补偿剪枝，采用元学习来确定更优的解决方案，成功将网络剪枝后的准确度降低到 0.7%，且由 1 小时缩短至 7 分钟的元学习时间可以节省大量资源和时间成本。

    Oct, 2018

  • 深度卷积神经网络的渐近软过滤剪枝

    本文提出了一种渐进式软过滤剪枝方法以加速卷积神经网络的推理过程，通过在重新训练阶段更新裁剪过的滤波器并逐渐剪枝来避免信息丢失，实验结果表明，与软过滤剪枝相比，本文提出的方法在 ResNet-50 上将 FLOPs 降低了 40%，但只有 0.14% 的 top-5 准确度下降。

    Aug, 2018

  • 面向卷积神经网络的广义熵稀疏化

    卷积神经网络 (CNNs) 被报道为过参数化。本文提出了一种基于数学思想的逐层数据驱动剪枝方法，旨在通过最小化网络熵来找到稀疏子网络，以解决网络架构搜索的复杂性问题。该方法在多个基准测试中得到验证，并在中稀疏度达到 55%-84% 时准确度损失为 0.1%-0.5%（LeNet 模型在 MNIST 数据集上），在稀疏度达到 73%-89% 时准确度损失为 0.1%-0.5%（VGG-16 和 ResNet18 模型在 CIFAR-10 数据集上）。

    Apr, 2024

  • 深度卷积神经网络加速的软性过滤裁剪

    本文通过软过度滤波 (SFP) 方法对深度卷积神经网络 (CNN) 推导过程进行了加速优化，通过对模型进行剪枝更新达到了更高的准确性和更高效的训练，这种方法不依赖预训练模型且在 ILSCRC-2012 数据集 ResNet-101 上表现优异。

    Aug, 2018

  • 剪枝卷积神经网络以实现高效推理

    提出了一种新的神经网络卷积核剪枝方法，通过 Taylor 扩展来近似剪枝参数变化引起的代价函数的改变，并结合反向传播的微调来保持剪枝网络的良好泛化性能，该方法在细粒度分类任务中表现出优异的性能。

    Nov, 2016

  • 一种深层神经网络压缩的新型通道修剪方法

    本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

    May, 2018

  • 高效卷积神经网络中的滤波器裁剪

    本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

    Aug, 2016

  • 复杂度驱动的卷积神经网络压缩技术：面向资源受限的边缘人工智能

    本文提出了一种新型的卷积神经网络压缩算法，通过利用网络层级复杂性，设计了三种剪枝模式：参数感知型、浮点运算量感知型和内存感知型，以在低功耗设备上实现高效率的模型压缩和加速，并在智能农业，智能医疗和智能工厂等应用中表现出了极高的性能表现。

    Aug, 2022