主动注意力控制的剪枝

Oct, 2022

Pruning by Active Attention Manipulation

Zahra Babaiee, Lucas Liebenwein, Ramin Hasani, Daniela Rus, Radu Grosu

TL;DR本研究提出了一种新型的 CNN 滤波器重要性评分机制 —— 由主动注意力操纵的修剪（PAAM），该机制可以在训练过程中稀疏化 CNN 的滤波器集，并且不需要预先训练的网络。通过在不同网络架构上的实验结果表明，PAAM 优于各种结构化修剪方法在 CIFAR-10 和 ImageNet 数据集上均可获得更好的性能。

Abstract

filter pruning of a cnn is typically achieved by applying discrete masks on the cnn's filter weights or activation maps, post-training. He

filter pruning cnn attention mechanism sparse sub-network performance

发现论文，激发创造

基于自适应激活的结构化剪枝

本文提出了一种自适应基于激活的结构化裁剪方法，以自动高效地生成满足用户要求的小型、准确和硬件高效的模型，它提出了迭代性结构化裁剪和自适应剪枝策略，可在不降低精度的情况下大幅减少参数和 FLOPs

Jan, 2022

自适应网络剪枝

本文提出了一种通过自适应网络剪枝方法（SANP）来降低卷积神经网络的计算成本。该方法引入了通用的显着性和剪枝模块（SPM）来为每个卷积层预测显着性评分，并且针对每个通道剪枝。在两个数据集和三个骨干的广泛实验中，SANP 在分类准确率和剪枝率方面都超过了最先进的方法。

Oct, 2019

被动滤波剪枝提高 CNN 效率

提出了一种基于运算符范数的被动滤波器修剪方法，通过考虑滤波器在输出中的贡献来裁剪滤波器，相对于现有的主动滤波器修剪方法快 4.5 倍，并且在声音场景分类和图像分类等任务中表现出更好的泛化能力和性能。

Apr, 2023

基于幅度注意力的动态剪枝

本文提出了一种新颖的动态裁剪方法，称之为基于数量级注意力的动态裁剪 (MAP) 方法，该方法在前向和反向路径中均运用了权重的重要性来动态探索稀疏模型结构，可以在更高效的情况下实现密集模型的性能，并且在 CIFAR-10/100 和 ImageNet 数据集上的表现比以前的裁剪方法更好。

Jun, 2023

高效多任务推理的剪枝感知合并

本文提出了一种网络合并方法 Pruning-Aware Merging (PAM)，在考虑未来网络剪枝的情形下，合并神经网络以达到最小计算成本，实验结果表明与现有方法相比，PAM 可以获得高达 4.87 倍减少计算成本的效果。

May, 2019

多头注意力自动剪枝

基于通道相似性和修剪指示器的多头注意力机制自动修剪方法，通过平衡各头通道的移除比例和通道信息的重新加权来降低计算复杂性，并在图像分类任务中表现出超越先前的高效模型和修剪方法的准确性。

May, 2024

Play and Prune: 适应性滤波剪枝用于深度模型压缩

本文提出了基于最小 - 最大框架的卷积神经网络滤波器级别剪枝方法，该方法同时对 CNN 模型参数进行剪枝和微调，具有自适应剪枝率和可直接指定误差容限等特点，在不损失准确性的情况下，有效减少了 VGG-16 的参数数量和 FLOPS。

May, 2019

使用注意力统计方法剪枝通道的深度神经网络压缩技术 PCAS

本研究提出了一种基于注意统计的简单通道剪枝技术，使用单个压缩比替代每层模型的分析，实现了自动通道选择，取得了超越常规方法的性能提升，训练不同模型和数据集的结果表明该方法减少了计算成本且更加准确。

Jun, 2018

基于梯度学习的运行时剪枝加速注意力机制

通过引入一个软正则化器来优化自注意力机制的计算，新提出的 LeOPArd 位串行体系结构可以在不损害平均精度的情况下提高计算速度和降低能源消耗。

Apr, 2022

高效神经网络的可证明滤波裁剪

本文采用基于采样的方法对超参数化网络中的冗余卷积神经网络滤波器进行识别和剔除，方法可同时进行数据术语构造采样分布并保证压缩后的网络在性能和大小方面有证明保证，适用于不同的网络体系结构和数据集。

Nov, 2019