基于幅度注意力的动态剪枝

Jun, 2023

Magnitude Attention-based Dynamic Pruning

Jihye Back, Namhyuk Ahn, Jangho Kim

TL;DR本文提出了一种新颖的动态裁剪方法，称之为基于数量级注意力的动态裁剪 (MAP) 方法，该方法在前向和反向路径中均运用了权重的重要性来动态探索稀疏模型结构，可以在更高效的情况下实现密集模型的性能，并且在 CIFAR-10/100 和 ImageNet 数据集上的表现比以前的裁剪方法更好。

Abstract

Existing pruning methods utilize the importance of each weight based on specified criteria only when searching for a sparse structure but do not utilize it during training. In this work, we propose a novel approach - \textbf{M}agnitude \textbf{A}ttention-based Dynamic \textbf{P}runing (MAP) method, which applies the importance of weights throughout both the

dynamic pruning magnitude attention sparse networks backward and forward paths performance

发现论文，激发创造

基于幅度剪枝的层自适应稀疏化

这篇论文针对神经网络修剪方法提出一种基于重要性分数的全局修剪方法（LAMP），不需要人工调参或加重的计算，使用在图像分类任务上表现出优于现有算法的效果。

Oct, 2020

利用概率形态剪枝进行预算感知的图卷积网络设计

本文介绍了一种新的轻量级 GCN 设计：概率幅值剪枝 (PMP)，该方法通过联合训练网络拓扑和权重，通过对齐已知先验分布的权重分布来实现任何固定剪枝率，以及增强设计的轻量级 GCN 的泛化性能。在处理基于骨骼的识别任务时，本文进行了大量的实验证明，轻量级 GCN 在非常高的剪枝基准下有显着的性能提升。

May, 2023

具有拓扑一致剪枝的小型图卷积网络

本文提出了一种新颖的幅值剪枝方法，通过重新参数化和两个监督双向网络来保证被提取的子网络具有拓扑一致性，从而显著增强了其泛化能力，本方法在基于图卷积神经网络的骨架动作识别任务上经过了广泛的实验证明。

Jun, 2023

层次视觉变形器的无数据依赖模块感知剪枝

本研究提出了一种基于数据无关的模块感知剪枝方法（DIMAP），用于压缩层级视觉转换器。该方法通过分析信息失真来公正地比较不同层级的 “局部” 注意力权重的贡献，并且引入一种基于权重的新型度量，在不依赖于输入图像的情况下消除了对图块合并过程的依赖性。该方法在 ImageNet-1k 分类上以及不同尺寸的 Swin Transformers 上验证了其有效性和优势，在去除了 Swin-B 52.5％的 FLOPs 和 52.7％的参数时，仅降低了 0.07％的 Top-5 准确率；而在减少 Swin-S 33.2％的 FLOPs 和 33.2％的参数时，甚至可以实现比原模型更高的 0.8％相对 Top-5 准确率。

Apr, 2024

Lookahead：基于远见的修剪的替代方法

本研究提出了一种名为预见性剪枝的简单剪枝方法，通过将单层优化扩展到多层优化，预见性剪枝在各种网络中表现良好，特别是在高稀疏度情况下，优于基于幅度的剪枝。

Feb, 2020

主动注意力控制的剪枝

本研究提出了一种新型的 CNN 滤波器重要性评分机制 —— 由主动注意力操纵的修剪（PAAM），该机制可以在训练过程中稀疏化 CNN 的滤波器集，并且不需要预先训练的网络。通过在不同网络架构上的实验结果表明，PAAM 优于各种结构化修剪方法在 CIFAR-10 和 ImageNet 数据集上均可获得更好的性能。

Oct, 2022

运动剪枝：通过微调实现自适应稀疏性

本文提出一种基于移动修剪的权重修剪方法，相比于纯监督学习中使用的幅度修剪方法，更适用于预训练模型微调，实验证明在高稀疏度下，此方法对预训练语言模型的剪枝效果更好，结合蒸馏技术最大程度地减小模型参数，同时保持模型准确率。

May, 2020

SWAMP: 迭代幅值削减的多粒子稀疏权重平均

本文提出一种基于迭代幅值修剪 (Iterative Magnitude Pruning, IMP) 算法的改进方法 Sparse Weight Averaging with Multiple Particles (SWAMP)，通过同时训练多个稀疏模型，利用加权平均的方式获得更好的泛化表现，该方法相比于现有基线方法在不同稀疏度下表现更优。

May, 2023

基于自适应激活的结构化剪枝

本文提出了一种自适应基于激活的结构化裁剪方法，以自动高效地生成满足用户要求的小型、准确和硬件高效的模型，它提出了迭代性结构化裁剪和自适应剪枝策略，可在不降低精度的情况下大幅减少参数和 FLOPs

Jan, 2022

基于互信息的逐层模型剪枝

该论文提出的修剪策略通过从更全局的角度运作，基于顶层训练信号逐层传播全局信号，从而在相同稀疏度水平下获得更高的性能和更大的加速，避免了权重基础剪枝技术中的内存访问不规则性。

Aug, 2021