ECCVJul, 2018

基于滤波器组逼近的极端网络压缩

PDF
TL;DR该论文提出了一种基于滤波器组逼近的新型分解方法，该方法可以显著减少深度卷积神经网络中的冗余，同时保持大部分特征表示，通过在每层中利用滤波器组结构，相比于其他基于低秩分解算法，我们的方法可以在多个图像分类数据集上减少 80% 以上的算术运算量（FLOPs），并减少精度损失，另外，实验证明我们的方法有助于缓解压缩网络的退化现象，从而提高网络的收敛性和性能。
deep convolutional neural networksredundancy reductionfilter group approximationimage classification datasetsflops reduction
发现论文，激发创造
  • 利用层级过滤器组提高 CNN 效率的深层网络

    通过采用一种新颖的稀疏连接结构，类似于树根，在利用层间滤波器依赖性的稀疏性的基础上，我们提出了一种新的方法来创建计算效率高且紧凑的卷积神经网络（CNN）。我们在 CIFAR10 和 ILSVRC 数据集上训练采用这种方法的 CNN 体系结构，结果表明，与基线架构相比，在较少的计算量情况下能实现类似或更高的准确率和更少的参数数量和浮点运算数。

    May, 2016

  • 面向移动应用的快速低功耗深度卷积神经网络压缩

    提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

    Nov, 2015

  • 组稀疏性：过滤器剪枝和分解网络压缩之间的枢纽

    该论文分析了两种流行的网络压缩技术，在统一的框架下比较了滤波剪枝和低秩分解，同时提出了一种全局的压缩方法并在多个基准测试中表现优异。

    Mar, 2020

  • 低秩正则化的卷积神经网络

    这篇论文提出了一种用于加速 CNNs 的基于张量分解的技术，并且发现使用降秩限制的 CNNs 除了速度更快之外，有时候性能也表现更好，在进行了对比测试后，尤其是对于 VGG-16 模型，在性能无损的同时，前向传播时间可以缩短一半，从而证明低秩张量分解在加速大型 CNNs 方面是非常有用的工具。

    Nov, 2015

  • 用于高效分组等变卷积神经网络的蒙特卡罗增强分解滤波器的自适应聚合

    本文提出一种基于卷积神经网络（CNN）的算法 ——G-CNN，结合 Monte Carlo 采样策略和切变等变 CNN，实现对自然图像的高效分类和处理，并能以高数据效率超越传统 CNN 方法。

    May, 2023

  • 级联投影：端到端的网络压缩和加速

    我们提出了一种数据驱动的方法来压缩卷积神经网络，该方法通过级联投影法（CaP）实现高精度，高吞吐量和低内存要求，并使用反向传播和随机梯度下降等技术进行优化。

    Mar, 2019

  • 一种深层神经网络压缩的新型通道修剪方法

    本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

    May, 2018

  • 神经网络压缩：寻求最佳分层分解方法

    本文提出了一种新颖的全局压缩深度神经网络框架，通过使用低秩分解的方法在达到所需的整体压缩率的同时，对每层进行全面分析确定最佳的每层压缩比率，并利用等奇特展开定理和最优化算法来得到我们的解决方案。我们的实验表明，我们的方法在各种网络和数据集上优于现有的低秩压缩方法。

    Jul, 2021

  • 实用网络压缩的群组 Fisher 剪枝

    本文提出了一种通道剪枝的方法，可以应用于各种复杂的结构，包括具有耦合通道的结构，在各种主干网络上进行了大量的实验，证明该方法可以有效地提高推断速度而不影响准确性。同时纳入了 GPU 推断速度关联性比 FLOPs 更高的记忆占用量的考量。

    Aug, 2021

  • 卷积神经网络压缩的稳定低秩张量分解

    本研究是对卷积核张量分解退化性的第一项研究。我们提出了一种新方法，可以稳定卷积核的低秩近似，同时保证神经网络的高性能。在流行的 CNN 体系结构上评估我们的方法并显示它提供一致性的性能。

    Aug, 2020