神经网络初始化裁剪的最新进展

IJCAIMar, 2021

Recent Advances on Neural Network Pruning at Initialization

Huan Wang, Can Qin, Yue Bai, Yulun Zhang, Yun Fu

TL;DR这篇论文首次调查了一种新兴的神经网络裁剪方式 —— 在初始化时裁剪（PaI），并介绍了其稀疏训练和稀疏选择两大主要方法。此外，该论文还提供了一个用于不同 PaI 方法的基准测试和检查的代码库。

Abstract

neural network pruning typically removes connections or neurons from a pretrained converged model; while a new pruning paradigm, pruning at initialization (PaI), attempts to prune a randomly initialized network. This paper offers the first survey concentrated on this emerging pruning f

neural network pruning pruning at initialization sparse training sparse selection benchmarking

发现论文，激发创造

基于信号传播视角的神经网络初始化剪枝

该研究使用一种基于梯度的敏感度准则，阐述了初始化条件和网络结构剪枝的之间的关系，提出一种无需数据的改进方法，可用于图像分类任务中的先剪枝训练。

Jun, 2019

初始化时的鲁棒剪枝

深度神经网络修剪方法的全面理论分析及其在各种网络架构上的实验验证。

Feb, 2020

通过结构化剪枝在初始化时快速部署边缘计算中的 DNN

利用结构化剪枝技术，Reconvene 系统可快速生成适用于边缘部署的经剪枝模型，大小减小了 16.21 倍，速度加快 2 倍，同时保持与未经剪枝的模型相同的准确性。

Apr, 2024

神经网络初始化时的剪枝：为什么我们会错过目标？

研究表明神经网络在初始化阶段进行剪枝是可能的，但是现有方法（SNIP、GraSP、SynFlow 和 magnitude pruning）表现不如训练后的 magnitude pruning，可能是因为这些方法的权重剪枝决策可以通过每层选择剪枝权重比例来替换，这反映出底层剪枝启发式算法及初始化阶段进行剪枝的挑战。

Sep, 2020

基于稀疏性视角的深度神经网络剪枝

本文提出了 PQ Index (PQI) 作为衡量深度神经网络可压缩性的量化指标，并基于此开发了一种基于稀疏性信息的自适应裁剪算法 (SAP)，该算法在压缩效率和稳健性方面优于遗传算法等迭代型裁剪算法。

Feb, 2023

迭代基于激活的结构化剪枝

本文针对在边缘设备上部署复杂深度学习模型的挑战，提出了两种基于激活函数的迭代剪枝方法，通过研究结构剪枝与权重剪枝方法的区别，说明结构剪枝会更适合在通用硬件上实现。与权重剪枝相比，这两种方法能更好地压缩模型，并实现更高的准确性。

Jan, 2022

初始化时剪枝的信息论障碍

彩票模型的存在考虑了深度学习中是否需要大型模型以及是否可以快速识别和训练稀疏网络，而无需训练包含它们的稠密模型。通过对彩票模型的理论解释，揭示了稀疏网络需要依赖于数据的遮罩来稳定插值噪声数据。研究证实了训练过程中获取的信息可以影响模型容量。

Feb, 2024

基于贝叶斯推断修剪神经网络

我们提出了一种利用贝叶斯推断的剪枝神经网络的新方法，该方法可以无缝地融入训练过程，并通过计算贝叶斯因子来指导迭代剪枝，从而实现所需的稀疏度，并保持竞争性的准确性。

Aug, 2023

何时修剪？一种早期结构修剪策略

本研究提出了一种早期修剪指标 (EPI)，该指标结合了神经元重要性排名和子网络结构相似性来识别具有稳定结构的重要子网络，使修剪可以在尽可能早的训练阶段进行，并取得了与基于 oracle 的网格搜索相同的效果，同时提供了一个新的精度 - 效率边界，获得了 1.4％的 top-1 分类精度提升并减少了 2.4 倍的 GPU 训练成本。

Oct, 2021

通过迭代保持突触流动来修剪神经网络

我们提出了一种不需要训练数据也能够在初始阶段识别高度稀疏的可训练子网络的剪枝算法，该算法基于神经突触流动原理并叫做迭代神经突触流剪枝算法（SynFlow），在多种模型、数据集和稀疏约束条件下，表现出和现有最先进的基于梯度的剪枝算法相当或更好的结果，成功挑战了基于训练数据来定量判断哪些突触重要的传统范式。

Jun, 2020