ICLROct, 2018

SNIP：基于连接敏感度的单次剪枝神经网络

PDF
TL;DR本文介绍了一种通过基于连接灵敏度的显著性标准在初始化前修剪神经网络，从而在保持网络性能的同时减少空间和时间复杂度的新方法，并应用于 MNIST、CIFAR-10 和 Tiny-ImageNet 分类任务的各种体系结构中，所得到的极度稀疏网络的准确性与基准网络几乎相同，而且能够证明保留的连接确实与给定任务相关。
发现论文，激发创造
  • 基于信号传播视角的神经网络初始化剪枝

    该研究使用一种基于梯度的敏感度准则，阐述了初始化条件和网络结构剪枝的之间的关系，提出一种无需数据的改进方法，可用于图像分类任务中的先剪枝训练。

    Jun, 2019

  • 通过敏感度统计量的迭代排名进行剪枝

    本文介绍了 SNIP-it，一种在训练前通过迭代敏感性准则进行剪枝的方法，提高了现代神经网络的剪枝表现，同时具有抗过拟合、抗断开和抗对抗攻击等特点。

    Jun, 2020

  • 连通性的重要性：基于有效稀疏度的神经网络剪枝

    本文针对神经网络剪枝技术在高稀疏度领域的应用，提出了新的有效稀疏度概念，重定义了性能评价指标，同时开发了一个成本较低的扩展工具，通过评估各种剪枝算法的绝对和相对性能表现，证明新的评价框架下与基于初始化的剪枝算法相比，随机剪枝仍然是一种可行的方法。

    Jul, 2021

  • 深度卷积神经网络的结构化剪枝

    使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

    Dec, 2015

  • 自适应网络剪枝

    本文提出了一种通过自适应网络剪枝方法（SANP）来降低卷积神经网络的计算成本。该方法引入了通用的显着性和剪枝模块（SPM）来为每个卷积层预测显着性评分，并且针对每个通道剪枝。在两个数据集和三个骨干的广泛实验中，SANP 在分类准确率和剪枝率方面都超过了最先进的方法。

    Oct, 2019

  • 保持梯度流的情况下在训练之前选择获胜的票数

    该研究旨在通过初始修剪神经网络来提高训练和测试时的资源效率。通过保留网络中的梯度流，提出了一个名为 GraSP 的简单但有效的剪枝标准，并在 VGGNet 和 ResNet 架构上进行了广泛实验，证明其在极度稀疏的情况下具有更好的性能。

    Feb, 2020

  • 渐进式骨架构建：在初始化时从网络中削减更多的冗余

    通过确定最大前瞻连接敏感度（FORCE）的骨架化网络，提出了两个近似过程以最大化我们的目标，这些过程允许在较高的修剪级别下显着提高性能。

    Jun, 2020

  • 从头开始剪枝

    本文提出了一种新颖的网络修剪流程，允许从随机初始化的权重开始修剪，加速了传统剪枝方法的预训练负担，同时在相同的计算预算下达到了类似甚至更高的准确性。

    Sep, 2019

  • 脑启发式高效剪枝：利用脉冲神经网络中的关键性质

    本文提出了一种采用重建机制来高效获取关键修剪网络的方法，通过基于关键修剪结构的低成本度量，重新排名修剪结构并重建那些具有更高关键性的结构，实现了比现有方法更高的性能和加速度，同时研究了机制潜在机理并发现了其在恢复阶段能够高效选择潜在结构、学习一致的特征表示和减少过拟合。

    Nov, 2023

  • 卷积神经网络的突触强度

    通过提出突触强度来很好地发挥卷积神经网络的压缩潜力，不影响准确性，并进一步证明了突触强度是比之前的算法更好的指标。

    Nov, 2018