压缩卷积神经网络

Jun, 2015

Compressing Convolutional Neural Networks

Wenlin Chen, James T. Wilson, Stephen Tyree, Kilian Q. Weinberger, Yixin Chen

TL;DR本文介绍了一种名为 FreshNets 的新型神经网络体系结构，它利用学习模型的卷积层和全连接层中的固有冗余性以实现内存和存储消耗的显着节省，同时在压缩性能方面优于现有基线模型。

Abstract

Convolutional neural networks (CNN) are increasingly used in many areas of computer vision. They are particularly attractive because of their ability to "absorb" great quantities of labeled data through millions of parameters. However, as model sizes increase, so do the storage and memory requirements of the classifiers. We present a novel network architectu

convolutional neural network freshnets memory consumption deep learning model compression

发现论文，激发创造

使用哈希技巧压缩神经网络

本研究提出了 HashedNets 这一新型网络结构，在使用深度学习技术进行移动设备应用时，可以通过哈希函数来分组并共享连接权重参数，进而大幅缩小神经网络所需的存储空间，而不会明显影响其泛化性能。

Apr, 2015

基于样本核心集的神经网络压缩

通过 Coreset 滤波器表示法，我们提出了一种 CNN 压缩算法，不需重新训练，易于实现，在量化和 Huffman 编码的支持下，训练出的网络可以在提供 AlexNet 精度的同时，内存占用只有原始 AlexNet 的 832 分之一，同时还能显著减少推理时间。此外，经过 Fine-Tune 后，这些压缩网络也能成功推广到其他领域。

Jul, 2018

有限训练样本下的谐波网络

本研究表明，使用离散余弦变换（DCT）滤波器的谐波块，可在有限的训练数据情况下与使用小波作为预设滤波器的散射网络相比，有效降低训练参数数量和过度拟合，从而提高卷积神经网络（CNN）的性能。

Apr, 2019

FSNet：基于滤波器的深度卷积神经网络压缩

提出通过权重共享的卷积核表示的新方法对深度卷积神经网络 (CNNs) 进行压缩，该方法将卷积核定位在 Filter Summary (FS) 中，每个卷积层的参数空间大大减小，且该方法可以轻松适用于权重量化。该文还提出了 Differentiable FSNet，该模型中卷积核之间的权重共享是可区分的。实验结果表明该方法在视觉任务中有效。

Feb, 2019

卷积神经网络用于 JPEG 图像：计算成本研究

通过评估解码和传递图像的计算成本，本文提出了适用于频域的深度模型的手工制作和数据驱动技术，以降低计算复杂性和参数数量，使其与 RGB 基线模型相似，从而实现计算成本和准确性之间的更好权衡。

Sep, 2023

频率规则化：约束卷积神经网络的信息冗余

本文提出一种名为频率正则化的方法，在频域约束网络参数的非零元素，进而可以极大程度上压缩神经网络的参数，保证网络训练的同时提高计算效率和节约存储空间。通过在多种现有神经网络架构上的实证，验证了此方法在装备有 GPU 执行引擎的嵌入式设备场景下的优越性。

Apr, 2023

卷积神经网络压缩在自然语言处理中的应用

本文提出了一种对情感分析中高效的卷积神经网络进行压缩的方法，该方法包含量化和修剪过程，并展示了将压缩后的网络映射到 FPGA 的方法及其实现结果，实验表明实现 5 位宽度即可达到与浮点数相近的精度且达到了较大的内存占用空间减少（从 85% 到 93%）。

May, 2018

压缩神经网络的功能性哈希

本文提出一种基于功能散列的新型结构 FunHashNN，通过利用多个低成本的散列函数获取压缩空间中的值，再使用小型重建网络恢复每个深层网络中的条目，从而高效地压缩深度神经网络，经实验证明，FunHashNN 在多个基准数据集上表现出较高的压缩比和准确率。

May, 2016

基于通道卷积的紧凑高效卷积神经网络

本文介绍了使用通道卷积压缩深度模型的方法，这种方法在 CNN 中替换特征图之间的稠密连接为稀疏连接，从而构建轻量级 CNN。ChannelNets 使用三种通道卷积的实例，并通过对 ImageNet 数据集进行实验来证明了其在参数和计算成本上的显著性降低，且不影响准确性。

Sep, 2018

深度锚定卷积神经网络

本文介绍了一种名为 Deep Anchored Convolutional Neural Network (DACNN) 的卷积神经网络架构，它使用单个卷积核并采用权重共享技术进行网络压缩，同时增加了一个名为 regulators 的易于插入的模块来提高性能，在 CIFAR-10、CIFAR-100 和 SVHN 数据集上验证了其准确性与显著的内存节省。

Apr, 2019