- 使用动态编码的滤波器融合训练紧凑型卷积神经网络进行图像分类
本文提出一种用于卷积神经网络(CNNs)模型压缩的动态编码滤波融合(DCFF)过滤剪枝方法,该方法在不依赖预训练模型或加入稀疏约束的情况下,通过为筛选滤波器分配相应的代理器,利用 KL 散度评估滤波器重要性,再通过滤波器融合实现模型压缩,成 - CVPR卷积神经网络结构冗余减少的剪枝
本文提出了一种卷积神经网络的结构冗余剪枝方法,通过在最具有结构冗余性的层剪枝,可以相对于之前研究集中在去除不重要滤波器的方法,更有效地压缩网络架构,并在不同的基准模型和数据集上获得了显著优越的表现
- 滤波器中的剪枝滤波器
本文提出了一种名为 SWP 的,基于 stripes 的滤波器修剪方法,该方法实现了高精度压缩和加速现代神经网络,大大提高了传统滤波器修剪方法的硬件友好性和压缩比,并通过 CIFAR-10 和 ImageNet 数据集的实验表明了其卓越的火 - CVPR组稀疏性:过滤器剪枝和分解网络压缩之间的枢纽
该论文分析了两种流行的网络压缩技术,在统一的框架下比较了滤波剪枝和低秩分解,同时提出了一种全局的压缩方法并在多个基准测试中表现优异。
- CVPR深度神经网络的滤波嫁接
该论文提出了一种称为过滤器移植的新学习范式,旨在提高深度神经网络的表示能力。通过移植外部信息(权重)来重新激活无效滤波器,采用熵 - 基准进行筛选,自适应权重策略平衡嫁接信息,经过移植操作后,网络的无效过滤器很少,从而使模型具有更强的表示能 - CUP: 深度神经网络压缩的聚类剪枝
通过聚类相似卷积核的方式,Cluster Pruning (CUP) 可以在深度神经网络中压缩和加速模型,其优于以往的过滤器剪枝方法,并且将剪枝操作整合到初始训练阶段,可以极大地节省训练时间。
- 高效神经网络的可证明滤波裁剪
本文采用基于采样的方法对超参数化网络中的冗余卷积神经网络滤波器进行识别和剔除,方法可同时进行数据术语构造采样分布并保证压缩后的网络在性能和大小方面有证明保证,适用于不同的网络体系结构和数据集。
- Gate Decorator: 全局过滤剪枝方法用于加速深度卷积神经网络
本文提出了一种名为 Gate Decorator 的全局滤波器剪枝算法,该算法通过乘以通道缩放因子来转换卷积神经网络模块,并使用 Taylor 展开估算剪枝后的损失函数变化并使用估值进行全局滤波器重要性排序,然后通过删除无关紧要的滤波器来剪 - ICML用于 CNN 宽度优化的近似 Oracle 滤波消减
本文提出了一种名为 Approximated Oracle Filter Pruning(AOFP)的滤波器裁剪方法,其可以自动化找到卷积神经网络中最不重要的滤波器,同时支持同时对多个层进行修剪,能够在可接受的时间成本内修剪现有的非常深的卷 - CVPR通过学习全局排序实现高效模型压缩
该论文提出了一种新的卷积神经网络滤波器裁剪算法,名为 LeGR,通过产生一组具有不同精度和延迟权衡的卷积神经网络来代替产生一个具有预定义延迟约束的卷积神经网络,且相比于之前的方法,LeGR 可以在保持性能的情况下快 2-3 倍。
- CVPR使用向心 SGD 进行具有复杂结构的非常深的卷积神经网络剪枝
本文提出了一种名为 Centripetal SGD 的新型优化方法,它可以训练多个滤波器折叠到参数超空间中的单个点,从而实现网络瘦身并修剪冗余的滤波器,实验证明 C-SGD 滤波器修剪可以在不需要微调的情况下有效地减少网络规模,同时提高收敛 - CVPR通过生成对抗学习实现最优结构化 CNN 剪枝
本研究提出了一种基于 GAN 的方法,通过软屏蔽对过滤器和其他结构进行联合裁剪,并在快速迭代阈值算法(FISTA)的帮助下获得更快速和可靠的裁剪。实验证明该方法在不同数据集上都可以获得显著的性能提升。
- 通过结构稀疏正则化滤波器剪枝实现紧凑型 ConvNets
本文提出了一种名为结构化稀疏正则化(SSR)的滤波器剪枝方案,它通过两种不同的正则化方法来适应性地裁剪卷积神经网络(CNN)的滤波器,从而提高计算速度和降低内存开销,并通过实验验证了其优异性能。
- CVPR基于几何中位数的卷积神经网络滤波剪枝加速
通过数学中介数理论给出了一种新的滤波器压缩方法 FPGM,该方法完全不受 “小范数” 原则的限制,不仅能够压缩 CNN 模型,而且还能提高相对精度。
- 面向资源受限的卷积神经网络的分层补偿剪枝
本研究提出一种新算法 —— 层补偿剪枝,采用元学习来确定更优的解决方案,成功将网络剪枝后的准确度降低到 0.7%,且由 1 小时缩短至 7 分钟的元学习时间可以节省大量资源和时间成本。
- SCSP: 具有软自适应方式的谱聚类滤波剪枝
本文提出了一种新的卷积神经网络压缩方法,即采用软自适应方式的谱聚类滤波器剪枝(SCSP),通过层层使用谱聚类来探索过滤器之间的内在连接并只计数有效组来实现模型压缩,同时保持相当的性能表现,也找到了一种新的解释模型压缩过程的方法。
- AutoPruner:一种端到端可训练的过滤器剪枝方法,用于高效的深度模型推断
通过将通道修剪和模型微调合并为单个端到端可训练的系统,使用自动修剪器来找到不重要的滤波器。所生成的真二元指数代码可以安全地删除运用于微调后的模型中。相较于之前的优秀修剪算法,AutoPruner 能够显著提高性能。慢慢擦除几个弱滤波器可以防 - 一种基于熵的 CNN 压缩剪枝方法
本研究提出了一种基于熵的滤波器重要性评估方法,使用该方法来加速和压缩现有的卷积神经网络模型,并通过对过滤器进行快速修剪和精细调整来优化模型的计算性能和泛化能力,以在 ILSVRC-12 基准测试中取得了良好的性能表现,能够在不牺牲模型精度情 - ICLR高效卷积神经网络中的滤波器裁剪
本文提出了一种基于滤波器减少方法的 CNNs 加速方法,它不依赖稀疏卷积库,通过移除对输出准确性影响较小的整个滤波器及其连接的特征图,大大降低了计算成本,在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-