学习卷积神经网络压缩的滤波器基础

ICCVAug, 2019

学习卷积神经网络压缩的滤波器基础

Learning Filter Basis for Convolutional Neural Network Compression

Yawei Li, Shuhang Gu, Luc Van Gool, Radu Timofte

TL;DR本论文提出基于卷积层中滤波器基的卷积神经网络参数数量缩减的方法，通过在多个 CNN 架构上对图像分类和图像超分辨率基准进行实验，结果表明该方法在减少参数和保持精确度方面优于现有技术。

Abstract

convolutional neural networks (CNNs) based solutions have achieved state-of-the-art performances for many computer vision tasks, including classification and super-resolution of images. Usually the success of these methods comes with a cost of millions of parameters due to stacking dee

convolutional neural networks image classification image super-resolution parameter reduction filter basis

发现论文，激发创造

滤波器共享：用于体卷积参数的高效学习

本文介绍了一种在训练期间利用卷积神经网络（CNNs）中学习到的滤波器的显着冗余的方法，通过找到一组小滤波器和混合系数来推导每个卷积层中的每个滤波器，从而减少训练参数。作者使用 CT 图像进行 3D 肺结节分割，证明了该方法只需要少量训练例子即可获得良好的结果。

Dec, 2016

低秩卷积滤波器在图像分类中训练 CNN 的有效性

本文提出了一种通过使用卷积滤波器的低秩表示来创建计算有效卷积神经网络的新方法，该方法通过学习一组小的基础过滤器从头开始进行训练，使网络有效地初始化连接权重。通过使用该方法，我们在 CIFAR、ILSVRC 和 MIT Places 数据集上训练了几种现有的 CNN 体系结构，并证实其优异的性能。

Nov, 2015

卷积神经网络过滤器剪枝学习

本研究提出了一种学习算法，使用数据驱动的方式训练剪枝代理，利用奖励函数去除不必要的卷积神经网络滤波器，从而简化并加速 CNN，并且在维持性能的情况下去除重复权重，减少计算资源消耗，该方法提供了一种易于控制网络性能和规模之间平衡的方法，并通过对多个流行的 CNN 对视觉识别和语义分割任务进行广泛的剪枝实验进行了验证。

Jan, 2018

卷积神经网络的先验压缩在波模拟器中的应用

本文提出使用压缩张量格式的卷积层、使用单向滤波器替代卷积层的三向 / 二向滤波器等方式压缩卷积神经网络模型，减少参数数量，从而降低内存占用，在预测时间和训练时间上表现良好。同时，文章将此技术应用于预测有限元物理数据。

Apr, 2023

高效卷积神经网络中的滤波器裁剪

本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

Aug, 2016

通过堆叠低维二进制卷积滤波器来压缩深度卷积神经网络

本研究提出了一种新的模型压缩方法 —— 通过堆叠低维二进制卷积核来压缩深度卷积神经网络模型，从而实现比二进制 CNN 模型更高的压缩比，比现有方法维持相似精度。

Oct, 2020

基于样本核心集的神经网络压缩

通过 Coreset 滤波器表示法，我们提出了一种 CNN 压缩算法，不需重新训练，易于实现，在量化和 Huffman 编码的支持下，训练出的网络可以在提供 AlexNet 精度的同时，内存占用只有原始 AlexNet 的 832 分之一，同时还能显著减少推理时间。此外，经过 Fine-Tune 后，这些压缩网络也能成功推广到其他领域。

Jul, 2018

基于卷积神经网络的端到端压缩框架

本文提出了基于卷积神经网络的图像压缩框架，其中包括用于压缩的紧凑型 CNN 和用于重构压缩图像的重构型 CNN，开发了一种统一的端到端学习算法以有效协同两种 CNN，并与现有的图像编码标准兼容。实验结果表明，所提出的压缩框架大大优于使用现有图像编码标准的多种压缩框架。

Aug, 2017

凸化卷积神经网络

介绍一种凸化卷积神经网络方法，利用再现核希尔伯特空间将卷积滤波器表示为向量，并将 CNN 参数表示为低秩矩阵，进而通过凸优化求解 CNN，其泛化误差与最优 CNN 一致，CCNNs 通过逐层训练使其在性能上与基线方法相当。

Sep, 2016

DCFNet：具有分解卷积核的深度神经网络

本文提出了基于截断展开的分解卷积滤波器（DCFNet）神经网络，使用预设基进行卷积滤波器的分解，通过扩展系数的学习来减少可以训练的参数和计算量，并通过基截断来加强滤波器的规律性。实验证明，DCFNet 可以在减少模型参数的同时，保持图像分类任务的准确性，尤其是在使用 Fourier-Bessel 基时效果显著，理论分析表明，DCFNet 对于输入的变化有较好的表示稳定性，并且经验观察与理论分析是一致的。

Feb, 2018