基于可转换架构搜索的网络剪枝

May, 2019

Network Pruning via Transformable Architecture Search

Xuanyi Dong, Yi Yang

TL;DR本文提出了一种新的网络剪枝方法，通过神经结构搜索直接搜索灵活的通道和层大小，最小化剪枝网络的失误实现通道和层大小的学习，提高了传统的网络剪枝方法，并有效地区别了不同搜索和知识转移方法的效果。

Abstract

network pruning reduces the computation costs of an over-parameterized network without performance damage. Prevailing pruning algorithms pre-define the width and depth of the pruned networks, and then transfer parameters from the unpruned network to pruned networks. To break the struct

network pruning neural architecture search channel and layer sizes loss minimization knowledge transfer

发现论文，激发创造

从头开始剪枝

本文提出了一种新颖的网络修剪流程，允许从随机初始化的权重开始修剪，加速了传统剪枝方法的预训练负担，同时在相同的计算预算下达到了类似甚至更高的准确性。

Sep, 2019

深度网络的多损失感知通道剪枝

本文提出了一种新的通道剪枝方法，通过使用基线模型的中间输出和剪枝模型的分类损失来监督分层通道选择，并通过考虑重建误差、附加损失和分类损失来显著提高剪枝模型的性能。

Feb, 2019

自动结构搜索通道剪枝

本研究提出了一种基于人工蜂群算法的新型通道剪枝方法，名为 ABCPruner，通过优化每一层的通道数量来寻找最优的剪枝结构，相比于以往的方法，该方法能够有效地减少剪枝结构的组合数量并且更加高效。

Jan, 2020

开箱即用的通道裁剪网络

本文探讨了基于随机或基于度量的通道剪枝策略以及使用强化学习寻找可转移的层面剪枝策略，结果表明后者能够将剪枝策略应用于新数据集并获得压缩的同时保持精度。

Apr, 2020

网络剪枝空间

本研究提出网络剪枝空间的概念，探讨子网络结构在不同剪枝范围内的最小精度损失并证明了在某个剪枝范围内存在最佳的 FLOPs-to-parameter-bucket 比率，通过实验结果表明，我们找到的子网络在合理的 FLOPs 下优于现有最先进的剪枝方法。

Apr, 2023

MetaPruning：用于自动神经网络通道剪枝的元学习

本文提出了一种基于元学习的通道自动剪枝方法。首先使用简单的随机结构采样方法训练一个 PruningNet 元网络，然后应用演化搜索方法寻找良好表现的剪枝网络，其效率高且无需在线微调。实验结果表明，相比现有的剪枝方法，该方法在 MobileNet V1/V2 和 ResNet 等模型上有着更好的性能表现。

Mar, 2019

使用内部蒸馏的背包修剪

本研究提出了一种基于背包问题和内部知识蒸馏的神经网络剪枝方法，该方法能够在优化被剪枝网络的最终准确性的同时，从过度参数化的母网络的内部层中提取知识，并使用块分组方法来处理复杂的网络结构。该方法在 ImageNet、CIFAR-10 和 CIFAR-100 数据集上都取得了 state-of-the-art 的准确率表现，并且能够产生与 EfficientNet-B0、MobileNetV3 相同 FLOPs 但更高准确率的网络结构。

Feb, 2020

重新思考网络剪枝的价值

本研究发现，在针对低资源设置中减少深度模型推理成本的网络修剪过程中，训练大模型通常不是获得高效终端模型的必要条件，学到的 “重要” 权重通常对小模型没有用，修剪的架构本身比继承的 “重要” 权重更重要，并且此方法可作为架构搜索范式。本文还比较了 “Lottery Ticket Hypothesis”，发现在最佳学习率下，与随机初始化相比，其 “获胜券” 初始化并未带来提高。

Oct, 2018

DHP: 通过超网实现可微元剪枝

本文介绍了一种通过超级网络进行自动网络剪枝的可微分剪枝方法。使用该方法进行图像分类、单幅图像超分辨率和降噪等各种网络的实验结果证实了该方法的有效性。

Mar, 2020

通过网络转换实现高效架构搜索

本文提出了一种基于深度神经网络的自动化设计架构的新框架，该框架使用强化学习代理作为元控制器，通过功能保持变换在当前网络的基础上，尝试增加网络深度或层宽。在 CIFAR-10 和 SVHN 基准数据集上的测试表明，该方法在受限的计算资源下可以设计出具有高竞争力的网络，并在不使用跨层连接的条件下实现了 4.23％的测试误差率。

Jul, 2017