Feb, 2020

保持梯度流的情况下在训练之前选择获胜的票数

PDF
TL;DR该研究旨在通过初始修剪神经网络来提高训练和测试时的资源效率。通过保留网络中的梯度流，提出了一个名为 GraSP 的简单但有效的剪枝标准，并在 VGGNet 和 ResNet 架构上进行了广泛实验，证明其在极度稀疏的情况下具有更好的性能。
发现论文，激发创造
  • 从头开始剪枝

    本文提出了一种新颖的网络修剪流程，允许从随机初始化的权重开始修剪，加速了传统剪枝方法的预训练负担，同时在相同的计算预算下达到了类似甚至更高的准确性。

    Sep, 2019

  • 梯度下降剪枝神经网络

    我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数的 0.15％。此外，我们的框架提升了神经网络的可解释性，不仅能够轻松从剪枝网络中提取特征重要性，而且能够可视化特征对称性和信息传递路径，学习策略通过深度学习得到，但却令人惊讶地直观且可理解，专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。

    Nov, 2023

  • 通过迭代保持突触流动来修剪神经网络

    我们提出了一种不需要训练数据也能够在初始阶段识别高度稀疏的可训练子网络的剪枝算法，该算法基于神经突触流动原理并叫做迭代神经突触流剪枝算法（SynFlow），在多种模型、数据集和稀疏约束条件下，表现出和现有最先进的基于梯度的剪枝算法相当或更好的结果，成功挑战了基于训练数据来定量判断哪些突触重要的传统范式。

    Jun, 2020

  • 训练前进行修剪可能改善泛化性能，可以证明

    该研究可以通过不同的修剪比率来影响模型的梯度下降动态和泛化性能，但是过高的修剪比率可能会导致模型性能下降，从而导致模型无法学习到有用的特征。

    Jan, 2023

  • 剪枝卷积神经网络以实现高效推理

    提出了一种新的神经网络卷积核剪枝方法，通过 Taylor 扩展来近似剪枝参数变化引起的代价函数的改变，并结合反向传播的微调来保持剪枝网络的良好泛化性能，该方法在细粒度分类任务中表现出优异的性能。

    Nov, 2016

  • 基于信号传播视角的神经网络初始化剪枝

    该研究使用一种基于梯度的敏感度准则，阐述了初始化条件和网络结构剪枝的之间的关系，提出一种无需数据的改进方法，可用于图像分类任务中的先剪枝训练。

    Jun, 2019

  • 预训练模型中存在的彩票大奖

    本文提出了一种搜索被称为 "lottery jackpots" 的高性能、稀疏的子网络的方法，通过使用基于幅值的裁剪技术初始化稀疏掩码并使用短限制方法减少训练损失，从而提高搜索效率和准确性。

    Apr, 2021

  • 通过神经再生的增强修剪可塑性实现稀疏训练

    本论文研究了通过神经再生技术改进的渐进式剪枝算法（GraNet），它结合了取得与单次剪枝同等性能和训练 / 推理效率的优点，尤其是其稀疏 - 稀疏模式极大地提高了 ResNet-50 在 ImageNet 上的性能。

    Jun, 2021

  • 重新思考网络剪枝的价值

    本研究发现，在针对低资源设置中减少深度模型推理成本的网络修剪过程中，训练大模型通常不是获得高效终端模型的必要条件，学到的 “重要” 权重通常对小模型没有用，修剪的架构本身比继承的 “重要” 权重更重要，并且此方法可作为架构搜索范式。本文还比较了 “Lottery Ticket Hypothesis”，发现在最佳学习率下，与随机初始化相比，其 “获胜券” 初始化并未带来提高。

    Oct, 2018

  • 通过修剪激活梯度加速 CNN 训练

    通过修剪更小的梯度和考虑激活梯度的统计分布，我们提出了一种方法来加速 CNN 训练，这将不会影响准确率。

    Aug, 2019