MetaPruning：用于自动神经网络通道剪枝的元学习

ICCVMar, 2019

MetaPruning：用于自动神经网络通道剪枝的元学习

MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning

Zechun Liu, Haoyuan Mu, Xiangyu Zhang, Zichao Guo, Xin Yang...

TL;DR本文提出了一种基于元学习的通道自动剪枝方法。首先使用简单的随机结构采样方法训练一个 PruningNet 元网络，然后应用演化搜索方法寻找良好表现的剪枝网络，其效率高且无需在线微调。实验结果表明，相比现有的剪枝方法，该方法在 MobileNet V1/V2 和 ResNet 等模型上有着更好的性能表现。

Abstract

In this paper, we propose a novel meta learning approach for automatic channel pruning of very deep neural networks. We first train a Prun

meta learning channel pruning neural networks stochastic structure sampling evolutionary procedure

发现论文，激发创造

DHP: 通过超网实现可微元剪枝

本文介绍了一种通过超级网络进行自动网络剪枝的可微分剪枝方法。使用该方法进行图像分类、单幅图像超分辨率和降噪等各种网络的实验结果证实了该方法的有效性。

Mar, 2020

一种深层神经网络压缩的新型通道修剪方法

本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

May, 2018

从头开始剪枝

本文提出了一种新颖的网络修剪流程，允许从随机初始化的权重开始修剪，加速了传统剪枝方法的预训练负担，同时在相同的计算预算下达到了类似甚至更高的准确性。

Sep, 2019

元学习实现的实时物体跟踪：高效模型自适应和单次通道剪枝

本文提出了一种新颖的 meta-learning 框架，用于实时物体跟踪，其中实现了高效的模型自适应和通道修剪，并通过精心设计的跟踪模拟来训练元跟踪器，显著提高了跟踪性能。

Nov, 2019

用于加速非常深的神经网络的通道修剪

本文提出了一种新的通道剪枝方法，能够加速非常深的卷积神经网络，通过基于 LASSO 回归的通道选择和最小二乘重构的迭代两步算法有效地修剪每一层，进一步推广到多层和多分支情况，剪枝后的 VGG-16 实现了 5 倍速度提升和仅 0.3％误差增加的最新成果，更重要的是，本方法能够加速现代网络，例如 ResNet，Xception，分别在 2 倍加速下只有 1.4％，1.0％的准确度损失，代码已公开出售。

Jul, 2017

基于可转换架构搜索的网络剪枝

本文提出了一种新的网络剪枝方法，通过神经结构搜索直接搜索灵活的通道和层大小，最小化剪枝网络的失误实现通道和层大小的学习，提高了传统的网络剪枝方法，并有效地区别了不同搜索和知识转移方法的效果。

May, 2019

自动结构搜索通道剪枝

本研究提出了一种基于人工蜂群算法的新型通道剪枝方法，名为 ABCPruner，通过优化每一层的通道数量来寻找最优的剪枝结构，相比于以往的方法，该方法能够有效地减少剪枝结构的组合数量并且更加高效。

Jan, 2020

深度网络的多损失感知通道剪枝

本文提出了一种新的通道剪枝方法，通过使用基线模型的中间输出和剪枝模型的分类损失来监督分层通道选择，并通过考虑重建误差、附加损失和分类损失来显著提高剪枝模型的性能。

Feb, 2019

PruneNet: 全局重要性通道剪枝

本文提出了一种简单而有效的基于数据驱动优化的频道修剪方法，该方法通过每层发现必要的宽度，以非均匀修剪 ResNet-50 等深度神经网络，实现了与现有方法相同的 FLOP 降低率，同时提高了 0.98％的准确度，并优于其他深度神经网络如 ResNet-34 和 ResNet-18。

May, 2020

多头注意力自动剪枝

基于通道相似性和修剪指示器的多头注意力机制自动修剪方法，通过平衡各头通道的移除比例和通道信息的重新加权来降低计算复杂性，并在图像分类任务中表现出超越先前的高效模型和修剪方法的准确性。

May, 2024