EagleEye：高效神经网络剪枝的快速子网络评估

ECCVJul, 2020

EagleEye：高效神经网络剪枝的快速子网络评估

EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning

Bailin Li, Bowen Wu, Jiang Su, Guangrun Wang, Liang Lin

TL;DR本文提出了一种名为 EagleEye 的剪枝算法，利用简单且高效的自适应批量归一化评估方法来加速识别潜在精度最高的剪枝候选项，从而更好地裁剪神经网络。在 MobileNet V1 和 ResNet-50 等模型中进行实验表明，EagleEye 优于所有已有的算法，FLOPs 剪枝达到 50% 时，对于 MobileNet V1 模型，EagleEye 实现了 70.9% 的 Top-1 ImageNet 模型分类精度。

Abstract

Finding out the computational redundant part of a trained Deep Neural Network (DNN) is the key question that pruning algorithms target on. Many algorithms try to predict model performance of the pruned sub-nets by introducing various evaluation methods. But they are either inaccurate o

pruning algorithms eagleeye dnn structures adaptive batch normalization flops

发现论文，激发创造

通过迭代修剪减少神经网络复杂度的 DropNet

通过迭代剪枝最低激活值方法，提出 DropNet 来简化深度神经网络，实验结果表明，最高可减少 90% 的节点 / 滤波器而不影响精度，并证明 DropNet 与贪婪算法相似。

Jul, 2022

基于集合知识引导的子网络搜索和微调用于滤波器剪枝

本文提出一种基于集成知识引导的删减算法 (EKG)，通过评估不同子网络的损失波动情况搜索最佳的子网络并实现后续的剪枝及微调，仅需 315 GPU 小时即可在不降低性能的情况下移除约 45.04% 的 FLOPS。

Mar, 2022

何时修剪？一种早期结构修剪策略

本研究提出了一种早期修剪指标 (EPI)，该指标结合了神经元重要性排名和子网络结构相似性来识别具有稳定结构的重要子网络，使修剪可以在尽可能早的训练阶段进行，并取得了与基于 oracle 的网格搜索相同的效果，同时提供了一个新的精度 - 效率边界，获得了 1.4％的 top-1 分类精度提升并减少了 2.4 倍的 GPU 训练成本。

Oct, 2021

优秀子网络存在的证明：基于贪婪前向选择的剪枝

我们通过提出一种基于贪心策略的网络修剪方法来证明神经网络修剪的有效性，理论上能够通过在足够大的预先训练的网络上应用贪心选择策略找到具有更低损失的小型子网络，并在 ImageNet 上实现了更好的结果，实践中利用修剪的子网络可以从大型模型中获得信息的优势。

Mar, 2020

Feather: 一种高效 DNN 稀疏化的优雅解决方案

利用强大的直通估计作为核心，结合新的阈值运算符和梯度缩放技术，Feather 是一种有效的稀疏训练模块，能够在标准训练过程中实现健壮的稀疏化性能，通过在 CIFAR 数据集上使用各种体系结构进行演示，而在 ImageNet 上，它使用 ResNet-50 体系结构实现了最新的 Top-1 验证准确性，超过了现有方法，并且具有显著的优势，包括更复杂和计算量较大的方法。

Oct, 2023

子网络多目标进化算法实现过滤器剪枝

本研究提出了一种基于子网络的多目标进化算法用于卷积神经网络过滤器裁剪，通过逐步组合卷积层裁剪，可以在保持更好性能的同时得到轻量化的裁剪结果。

Oct, 2022

子空间节点修剪

使用节点剪枝和子空间形成技术，该论文提出了可以在保持网络性能最大化的同时去除计算单元来提高深度网络的效率，通过重新组织网络和使用正交子空间来选择合适的剪枝比例，并在 VGG 和残差网络中验证了该方法的优越性。

May, 2024

神经架构搜索中速度 / 精度平衡的部分排序修剪

提出了一种名为 Partial Order Pruning 的自动体系结构搜索算法，该算法可提供具有最佳速度和准确度折衷的搜索网络的更好的速度 / 准确度折衷，此算法明确考虑了目标平台上推理速度的概要信息，通过搜索解码器体系结构，得到了 DF-Seg 实时分割网络，在目标嵌入式设备和高端 GPU 上提供了最先进的速度 / 准确度折衷。

Mar, 2019

Archtree: 基于实时树结构探索的深度神经网络低延迟裁剪

Archtree 是一种新的基于延迟驱动的 DNN 结构修剪方法，通过并行地在树形结构中探索多个候选修剪子模型，实时估计目标硬件的延迟，从而更好地适应延迟预算并保持原始模型准确性。

Nov, 2023

面向边缘 AI 系统的自动高效 BERT 剪枝

提出 AE-BERT，一种自动和高效的 BERT 剪枝框架，可在资源受限设备上实现基于 Transformer 自然语言处理模型并提高准确性。实验结果表明，在压缩模型后，与 CPU 相比使用 AE-BERT 产生的 BERT 基础编码器子网络可以在类似的总剪枝比率下获得更高的分数，并提高推理时间。

Jun, 2022