COP：基于正则化相关滤波器级别修剪的定制化深度模型压缩

IJCAIJun, 2019

COP：基于正则化相关滤波器级别修剪的定制化深度模型压缩

COP: Customized Deep Model Compression via Regularized Correlation-Based Filter-Level Pruning

Wenxiao Wang, Cong Fu, Jishun Guo, Deng Cai, Xiaofei He

TL;DR该研究提出了一种名为 COP（基于相关性的修剪）的算法来解决神经网络压缩中滤波器无法识别的问题，该算法可以检测冗余过滤器，通过全局标准化使跨层过滤器比较成为可能，并添加参数数量和计算成本规则化条款以便根据用户偏好（更小或者更快）来自定义压缩。

Abstract

neural network compression empowers the effective yet unwieldy deep convolutional neural networks (CNN) to be deployed in resource-constrained scenarios. Most state-of-the-art approaches prune the model in filter

neural network compression convolutional neural networks filter-level pruning redundant filters correlation-based pruning

发现论文，激发创造

Play and Prune: 适应性滤波剪枝用于深度模型压缩

本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法，该方法同时对 CNN 模型参数进行剪枝和微调，具有自适应剪枝率和可直接指定误差容限等特点，在不损失准确性的情况下，有效减少了 VGG-16 的参数数量和 FLOPS。

May, 2019

利用过滤器相关性进行深度模型压缩

本文提出了一种基于滤波器相关性的深度卷积神经网络模型压缩方法，它通过优化使得特定相关滤波器对尽可能相关，然后成功压缩 LeNet-5、VGG-16、ResNet-50、56 等模型，在压缩模型的同时维持了优秀的预测性能。

Nov, 2018

通过学习全局排序实现高效模型压缩

该论文提出了一种新的卷积神经网络滤波器裁剪算法，名为 LeGR，通过产生一组具有不同精度和延迟权衡的卷积神经网络来代替产生一个具有预定义延迟约束的卷积神经网络，且相比于之前的方法，LeGR 可以在保持性能的情况下快 2-3 倍。

Apr, 2019

面向资源受限的卷积神经网络的分层补偿剪枝

本研究提出一种新算法 —— 层补偿剪枝，采用元学习来确定更优的解决方案，成功将网络剪枝后的准确度降低到 0.7%，且由 1 小时缩短至 7 分钟的元学习时间可以节省大量资源和时间成本。

Oct, 2018

复杂度驱动的卷积神经网络压缩技术：面向资源受限的边缘人工智能

本文提出了一种新型的卷积神经网络压缩算法，通过利用网络层级复杂性，设计了三种剪枝模式：参数感知型、浮点运算量感知型和内存感知型，以在低功耗设备上实现高效率的模型压缩和加速，并在智能农业，智能医疗和智能工厂等应用中表现出了极高的性能表现。

Aug, 2022

CUP: 深度神经网络压缩的聚类剪枝

通过聚类相似卷积核的方式，Cluster Pruning (CUP) 可以在深度神经网络中压缩和加速模型，其优于以往的过滤器剪枝方法，并且将剪枝操作整合到初始训练阶段，可以极大地节省训练时间。

Nov, 2019

一种基于熵的 CNN 压缩剪枝方法

本研究提出了一种基于熵的滤波器重要性评估方法，使用该方法来加速和压缩现有的卷积神经网络模型，并通过对过滤器进行快速修剪和精细调整来优化模型的计算性能和泛化能力，以在 ILSVRC-12 基准测试中取得了良好的性能表现，能够在不牺牲模型精度情况下将模型压缩大约 16.64 倍。

Jun, 2017

基于正则化方法的三维卷积神经网络剪枝

本文提出了一种基于三维正则化神经网络剪枝的方法，通过分配不同的正则化参数来减少计算和存储消耗，通过分析每个层的冗余和计算成本来确定不同的剪枝比例，实验表明，基于我们的方法的剪枝可以为 3DResNet18 和 C3D 等模型带来 2 倍的理论加速，并仅出现 0.41％和 3.28％的准确度损失，该方法在模型压缩和加速方面表现优异。

Nov, 2018

高效卷积神经网络中的滤波器裁剪

本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

Aug, 2016

RePr: 卷积滤波器的改进训练

研究表明，通过暂时修剪和恢复模型的子集滤波器，反复进行该过程，可以减少所学习特征的重叠，从而提高了模型的泛化能力；而在这种情况下，现有的模型修剪标准并不是选择修剪滤波器的最优策略，因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络，能够提高各种任务的性能，尤其是小型网络的性能。

Nov, 2018