ICLRFeb, 2019

FSNet：基于滤波器的深度卷积神经网络压缩

PDF
TL;DR提出通过权重共享的卷积核表示的新方法对深度卷积神经网络 (CNNs) 进行压缩，该方法将卷积核定位在 Filter Summary (FS) 中，每个卷积层的参数空间大大减小，且该方法可以轻松适用于权重量化。该文还提出了 Differentiable FSNet，该模型中卷积核之间的权重共享是可区分的。实验结果表明该方法在视觉任务中有效。
compressionconvolutional neural networksweight sharingfilter summaryquantization
发现论文，激发创造
  • 压缩卷积神经网络

    本文介绍了一种名为 FreshNets 的新型神经网络体系结构，它利用学习模型的卷积层和全连接层中的固有冗余性以实现内存和存储消耗的显着节省，同时在压缩性能方面优于现有基线模型。

    Jun, 2015

  • 基于滤波器组逼近的极端网络压缩

    该论文提出了一种基于滤波器组逼近的新型分解方法，该方法可以显著减少深度卷积神经网络中的冗余，同时保持大部分特征表示，通过在每层中利用滤波器组结构，相比于其他基于低秩分解算法，我们的方法可以在多个图像分类数据集上减少 80% 以上的算术运算量（FLOPs），并减少精度损失，另外，实验证明我们的方法有助于缓解压缩网络的退化现象，从而提高网络的收敛性和性能。

    Jul, 2018

  • 基于样本核心集的神经网络压缩

    通过 Coreset 滤波器表示法，我们提出了一种 CNN 压缩算法，不需重新训练，易于实现，在量化和 Huffman 编码的支持下，训练出的网络可以在提供 AlexNet 精度的同时，内存占用只有原始 AlexNet 的 832 分之一，同时还能显著减少推理时间。此外，经过 Fine-Tune 后，这些压缩网络也能成功推广到其他领域。

    Jul, 2018

  • 特征统计指导的高效滤波器剪枝

    本文提出一种新的滤波器剪枝方法，该方法结合了多个特征图选择机制：多样性感知选择和相似性感知选择，能够有效地减小卷积神经网络的参数大小和浮点运算数，同时几乎不会降低其分类准确度。

    May, 2020

  • DCFNet：具有分解卷积核的深度神经网络

    本文提出了基于截断展开的分解卷积滤波器（DCFNet）神经网络，使用预设基进行卷积滤波器的分解，通过扩展系数的学习来减少可以训练的参数和计算量，并通过基截断来加强滤波器的规律性。实验证明，DCFNet 可以在减少模型参数的同时，保持图像分类任务的准确性，尤其是在使用 Fourier-Bessel 基时效果显著，理论分析表明，DCFNet 对于输入的变化有较好的表示稳定性，并且经验观察与理论分析是一致的。

    Feb, 2018

  • WSNet: 通过权重采样实现紧凑高效的神经网络

    WSNet 是一种用于学习紧凑高效的深度神经网络的新方法和新架构，其通过采样可学习参数的紧凑集合来促进参数共享，并考虑应用在音频分类方面，实验证明此方法可以更有效地学习与基准相比卷积滤波器数量相等但更小的网络，并且在权重量化的情况下，所得模型的尺寸理论上可缩小至 16 倍，速度可提升至 180 倍，但无明显性能降低。

    Nov, 2017

  • 通过堆叠低维二进制卷积滤波器来压缩深度卷积神经网络

    本研究提出了一种新的模型压缩方法 —— 通过堆叠低维二进制卷积核来压缩深度卷积神经网络模型，从而实现比二进制 CNN 模型更高的压缩比，比现有方法维持相似精度。

    Oct, 2020

  • 通过相邻层的过滤器相似度进行滤波剪枝

    本研究介绍了一种新的滤波器修剪方法（FSCL）， 它在连续层之间明确利用滤波器之间的相似性来压缩模型，从而剪掉那些在模型中不太重要的特征， 并在多个基准模型和数据集上取得了显着的精度、FLOPs 和参数量减少。

    Apr, 2023

  • 用于前馈加速的扁平化卷积神经网络

    本文提出了用于快速前馈执行的扁平卷积神经网络，该网络训练扁平化的连续序列 1D 过滤器，可通过减少学习参数以提供约两倍的速度提升，可以有效地替代 3D 过滤器而不会丧失准确性，而且无需人工调整或后处理

    Dec, 2014

  • 面向移动应用的快速低功耗深度卷积神经网络压缩

    提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

    Nov, 2015