通过堆叠低维二进制卷积滤波器来压缩深度卷积神经网络

Oct, 2020

通过堆叠低维二进制卷积滤波器来压缩深度卷积神经网络

Compressing Deep Convolutional Neural Networks by Stacking Low-dimensional Binary Convolution Filters

Weichao Lan, Liang Lan

TL;DR本研究提出了一种新的模型压缩方法 —— 通过堆叠低维二进制卷积核来压缩深度卷积神经网络模型，从而实现比二进制 CNN 模型更高的压缩比，比现有方法维持相似精度。

Abstract

deep convolutional neural networks (CNN) have been successfully applied to many real-life problems. However, the huge memory cost of deep CNN models poses a great challenge of deploying them on memory-constrained devices (e.g., mobile phones). One popular way to reduce the memory cost

deep convolutional neural networks binary cnn model compression low-dimensional binary convolution filters compression ratio

发现论文，激发创造

面向移动应用的快速低功耗深度卷积神经网络压缩

提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

Nov, 2015

使用训练二值化的准确紧凑卷积神经网络

本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化 CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化 CNN 在 CIFAR-10 上的准确度达到 92.3％，在 ImageNet 上，我们的方法用 AlexNet 获得 46.1％的 top-1 准确度，用 Resnet-18 获得 54.2％的 top-1 准确度。

Sep, 2019

网络草图：在深度 CNN 中利用二进制结构

本文提出使用网络草图技术进行张量扩展从而生成二值化 CNN 网络，并且在 ImageNet 分类任务上取得了比现有模型更高的准确率。

Jun, 2017

基于卷积神经网络的端到端压缩框架

本文提出了基于卷积神经网络的图像压缩框架，其中包括用于压缩的紧凑型 CNN 和用于重构压缩图像的重构型 CNN，开发了一种统一的端到端学习算法以有效协同两种 CNN，并与现有的图像编码标准兼容。实验结果表明，所提出的压缩框架大大优于使用现有图像编码标准的多种压缩框架。

Aug, 2017

学习卷积神经网络压缩的滤波器基础

本论文提出基于卷积层中滤波器基的卷积神经网络参数数量缩减的方法，通过在多个 CNN 架构上对图像分类和图像超分辨率基准进行实验，结果表明该方法在减少参数和保持精确度方面优于现有技术。

Aug, 2019

朝着精准二值卷积神经网络

本文引入了一种新颖的方案来训练二值卷积神经网络，使用多个二元权重基的线性组合逼近完全精度权重，并采用多个二元激活来减轻信息丢失的问题，最终实现了一个二值卷积神经网络（ABC-Net），能够在适当的二元权重和激活函数基础上，取得与全精度神经网络相当的预测准确性。

Nov, 2017

利用矢量量化压缩深度卷积网络

本文探讨信息理论中的向量量化方法，用于压缩卷积神经网络中的参数，结果表明针对最消耗存储的稠密连接层使用向量量化方法比现有的矩阵分解方法更加高效，仅使用最先进的 CNN 模型在 ImageNet 挑战赛的 1000 分类任务中，即使损失 1% 的分类准确率，也能获得 16-24 倍的网络压缩优化。

Dec, 2014

深度锚定卷积神经网络

本文介绍了一种名为 Deep Anchored Convolutional Neural Network (DACNN) 的卷积神经网络架构，它使用单个卷积核并采用权重共享技术进行网络压缩，同时增加了一个名为 regulators 的易于插入的模块来提高性能，在 CIFAR-10、CIFAR-100 和 SVHN 数据集上验证了其准确性与显著的内存节省。

Apr, 2019

卷积神经网络的结构压缩

本文介绍了一种基于剪枝策略的 CNN 结构压缩方法 CAR。CAR 通过去除对分类精度影响最小的滤波器实现了近似原始分类精度的同时，保留了原始网络中有代表性的滤波器。压缩后的网络更容易理解，因为具有更少的滤波器数目。此外，作者还提出了一种变种算法来量化每个图像类别对每个 CNN 滤波器的重要性，最和次重要的分类标签被证明是每个滤波器的有意义的解释。

May, 2017

用二元神经网络降低深度生成模型的计算成本

本文研究二值神经网络在生成模型中的应用，通过开发一类新的二值权重规范化方法和提供针对这些二值化生成模型的架构设计，成功地训练出使用二值神经网络的生成模型，使得模型的计算成本大幅降低，但损失函数的值接近于原模型，模型体积更小且速度更快。

Oct, 2020