利用内核稀疏性和熵进行可解释的 CNN 压缩

Dec, 2018

利用内核稀疏性和熵进行可解释的 CNN 压缩

Exploiting Kernel Sparsity and Entropy for Interpretable CNN Compression

Yuchao Li, Shaohui Lin, Baochang Zhang, Jianzhuang Liu, David Doermann...

TL;DR本文研究了卷积神经网络（CNN）压缩问题并提出了基于内在结构的新颖解释方法，借助该方法提出了核稀疏和熵（KSE）指标以定量化特征图的重要性，进而指导模型压缩，并开展了基于 KSE 指标的核聚类以实现高精度 CNN 压缩，同时具有高效率和优越性能。

Abstract

Compressing convolutional neural networks (CNNs) has received ever-increasing research focus. However, most existing cnn compression methods do not interpret their inherent structures to distinguish the implicit

convolutional neural networks cnn compression kernel sparsity feature-agnostic manner model compression

发现论文，激发创造

一种基于熵的 CNN 压缩剪枝方法

本研究提出了一种基于熵的滤波器重要性评估方法，使用该方法来加速和压缩现有的卷积神经网络模型，并通过对过滤器进行快速修剪和精细调整来优化模型的计算性能和泛化能力，以在 ILSVRC-12 基准测试中取得了良好的性能表现，能够在不牺牲模型精度情况下将模型压缩大约 16.64 倍。

Jun, 2017

探索卷积神经网络压缩中特征图子空间的线性关系

本研究提出一个基于子空间聚类的卷积神经网络剪枝方法，通过寻找不同特征子空间中的线性关系来消除卷积滤波器中的冗余信息，从而对卷积神经网络实现压缩和加速的目的。经过实验验证，该方法在绝大部分现有方法之前，在微调后实现了最先进的结果。

Mar, 2018

PENNI: 高效 CNN 推断的裁剪核共享

提出了一种基于核分解的 CNN 模型压缩框架 PENNI，通过内核共享和稀疏约束，可以同时实现模型简洁和硬件效率，实验结果显示在不影响精度的情况下，可以裁剪 97% 的参数和 92% 的 FLOPs，减少 44% 的内存和 53% 的推理延迟。

May, 2020

卷积神经网络的结构压缩

本文介绍了一种基于剪枝策略的 CNN 结构压缩方法 CAR。CAR 通过去除对分类精度影响最小的滤波器实现了近似原始分类精度的同时，保留了原始网络中有代表性的滤波器。压缩后的网络更容易理解，因为具有更少的滤波器数目。此外，作者还提出了一种变种算法来量化每个图像类别对每个 CNN 滤波器的重要性，最和次重要的分类标签被证明是每个滤波器的有意义的解释。

May, 2017

可压缩特征的端到端学习

为了解决传统基于信息熵的无损压缩方法在降维时效果不佳的问题，本文提出了一种基于学习的方法，可以同时优化特征的可压缩性和任务目标，从而生产一个更具压缩性的特征，同时提高其准确性。

Jul, 2020

通过压缩解释卷积神经网络

本文探讨了压缩和特别是修剪滤波器在解释卷积神经网络中的作用，并通过 CAR 压缩算法，演示了修剪具有视觉冗余模式选择性的滤波器的可解释性。作者比较了 AlexNet 的前 20 个 CAR 修剪滤波器的颜色选择性和形状选择性，并引入了一个量化每个图像类对 CNN 滤波器的重要性的 CAR 重要性指数，最后发现对每个 CNN 滤波器最重要和不重要的类标签提供了与该滤波器的可视化模式选择性一致的有意义的解释。

Nov, 2017

使用受监督的卷积核网络进行端到端核学习

本文提出了一种基于多层核机的图像表示方法，并通过监督学习来调整核的形态。该方法构建了一种新的卷积神经网络，在一些深度学习数据集上取得了良好的分类表现，表明了该方法在图像相关任务中的应用价值。

May, 2016

稀疏卷积神经网络的聚焦量化

本文提出一种基于二次幂值的、专注于稀疏 CNN 的量化策略，并结合无损编码构建一种高压缩比、计算成本低、准确率几乎无损的压缩管线，在 ResNet-50 网络上实现 18.08x CR 的压缩效果，同时也证明更硬件有效。

Mar, 2019

卷积核网络

通过用一种新型卷积神经网络（CNN）来编码不变性的再生核，本文解决了视觉识别中旨在设计对特定变换具有不变性的图像表示的问题，其中与传统方法不同的是，我们的网络学习在训练数据上逼近核特征映射，从而带来了多个优势，包括获得具有不变性的简单神经网络体系结构，实现与更复杂 CNNs 相似的准确度，以及抵抗过拟合等。

Jun, 2014

基于样本核心集的神经网络压缩

通过 Coreset 滤波器表示法，我们提出了一种 CNN 压缩算法，不需重新训练，易于实现，在量化和 Huffman 编码的支持下，训练出的网络可以在提供 AlexNet 精度的同时，内存占用只有原始 AlexNet 的 832 分之一，同时还能显著减少推理时间。此外，经过 Fine-Tune 后，这些压缩网络也能成功推广到其他领域。

Jul, 2018