Feb, 2022

利用元梯度在初始化时寻找可训练权重的潜在剪枝

PDF
TL;DR本文提出了一种名为 Prospect Pruning 的修剪方法，它通过 meta-gradients 来确定哪些参数需要被修剪，从而实现在同时保留神经网络准确性的前提下，消耗更少的计算资源并达到最先进的修剪表现。
pruningneural networkssparse modelsprospect pruningmeta-gradients
发现论文，激发创造
  • 基于信号传播视角的神经网络初始化剪枝

    该研究使用一种基于梯度的敏感度准则，阐述了初始化条件和网络结构剪枝的之间的关系，提出一种无需数据的改进方法，可用于图像分类任务中的先剪枝训练。

    Jun, 2019

  • 保持梯度流的情况下在训练之前选择获胜的票数

    该研究旨在通过初始修剪神经网络来提高训练和测试时的资源效率。通过保留网络中的梯度流，提出了一个名为 GraSP 的简单但有效的剪枝标准，并在 VGGNet 和 ResNet 架构上进行了广泛实验，证明其在极度稀疏的情况下具有更好的性能。

    Feb, 2020

  • 神经网络初始化时的剪枝：为什么我们会错过目标？

    研究表明神经网络在初始化阶段进行剪枝是可能的，但是现有方法（SNIP、GraSP、SynFlow 和 magnitude pruning）表现不如训练后的 magnitude pruning，可能是因为这些方法的权重剪枝决策可以通过每层选择剪枝权重比例来替换，这反映出底层剪枝启发式算法及初始化阶段进行剪枝的挑战。

    Sep, 2020

  • 初始化时的鲁棒剪枝

    深度神经网络修剪方法的全面理论分析及其在各种网络架构上的实验验证。

    Feb, 2020

  • 梯度下降剪枝神经网络

    我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数的 0.15％。此外，我们的框架提升了神经网络的可解释性，不仅能够轻松从剪枝网络中提取特征重要性，而且能够可视化特征对称性和信息传递路径，学习策略通过深度学习得到，但却令人惊讶地直观且可理解，专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。

    Nov, 2023

  • 通过迭代保持突触流动来修剪神经网络

    我们提出了一种不需要训练数据也能够在初始阶段识别高度稀疏的可训练子网络的剪枝算法，该算法基于神经突触流动原理并叫做迭代神经突触流剪枝算法（SynFlow），在多种模型、数据集和稀疏约束条件下，表现出和现有最先进的基于梯度的剪枝算法相当或更好的结果，成功挑战了基于训练数据来定量判断哪些突触重要的传统范式。

    Jun, 2020

  • 训练前进行修剪可能改善泛化性能，可以证明

    该研究可以通过不同的修剪比率来影响模型的梯度下降动态和泛化性能，但是过高的修剪比率可能会导致模型性能下降，从而导致模型无法学习到有用的特征。

    Jan, 2023

  • 何时修剪？一种早期结构修剪策略

    本研究提出了一种早期修剪指标 (EPI)，该指标结合了神经元重要性排名和子网络结构相似性来识别具有稳定结构的重要子网络，使修剪可以在尽可能早的训练阶段进行，并取得了与基于 oracle 的网格搜索相同的效果，同时提供了一个新的精度 - 效率边界，获得了 1.4％的 top-1 分类精度提升并减少了 2.4 倍的 GPU 训练成本。

    Oct, 2021

  • 通过修剪激活梯度加速 CNN 训练

    通过修剪更小的梯度和考虑激活梯度的统计分布，我们提出了一种方法来加速 CNN 训练，这将不会影响准确率。

    Aug, 2019

  • 优秀子网络存在的证明：基于贪婪前向选择的剪枝

    我们通过提出一种基于贪心策略的网络修剪方法来证明神经网络修剪的有效性，理论上能够通过在足够大的预先训练的网络上应用贪心选择策略找到具有更低损失的小型子网络，并在 ImageNet 上实现了更好的结果，实践中利用修剪的子网络可以从大型模型中获得信息的优势。

    Mar, 2020