Mar, 2024

LNPT: 无标签网络剪枝和训练

PDF
TL;DR在本文中，我们介绍了学习差距的概念，并强调其与泛化能力的准确相关性。实验表明，学习差距以网络倒数第二层的特征图的形式与泛化性能的变化相一致。我们提出了一种新的学习框架，LNPT，使得云端的成熟网络能够对没有标签的智能设备上的网络修剪和学习提供在线指导。我们的结果证明了这种方法优于监督训练。
pruningneural networkssmart deviceslearning gapgeneralization
发现论文，激发创造
  • 训练前进行修剪可能改善泛化性能，可以证明

    该研究可以通过不同的修剪比率来影响模型的梯度下降动态和泛化性能，但是过高的修剪比率可能会导致模型性能下降，从而导致模型无法学习到有用的特征。

    Jan, 2023

  • 神经修剪的连续学习

    本篇研究提出了一种名为 CLNP 的方法，通过神经模型稀疏化实现模型固定容量下的全生命周期学习，在这种方法中，使用经过稀疏化网络中的非活动神经元和滤波器来训练后续任务，并对以前任务的性能不会造成任何恶化，此外，CLNP 还提供了简单的学习诊断工具。实验证明，与当前基于权重弹性的方法相比，CLNP 能够显著提高结果。

    Mar, 2019

  • 学习阈值修剪

    本文提出了一种新的可微分的方法来对深度神经网络进行无结构权重修剪。我们的学习阈值修剪（LTP）方法通过梯度下降学习每层的阈值，与传统方法不同。此外，通过一种新的可微分 $L_0$ 正则化，LTP 能够有效地处理具有批量归一化的体系结构。LTP 能够生成一系列越来越稀疏的网络，从中可以根据稀疏度和性能要求选择所需的修剪网络。

    Feb, 2020

  • 重构网络剪枝 -- 在预训练和微调范式下

    本论文研究在 NLP 领域中，对预训练的 Transformers 模型采取稀疏剪枝 (sparse pruning) 技术，相较于对其通道与层数的压缩，稀疏剪枝的效果更为显著。通过基于 GLUE 数据集的实验比较，证明本论文所采用的知识感知的稀疏剪枝方法可以实现 20 倍的参数 / FLOPs 压缩并且不会明显损失模型的性能。

    Apr, 2021

  • 重新思考网络剪枝的价值

    本研究发现，在针对低资源设置中减少深度模型推理成本的网络修剪过程中，训练大模型通常不是获得高效终端模型的必要条件，学到的 “重要” 权重通常对小模型没有用，修剪的架构本身比继承的 “重要” 权重更重要，并且此方法可作为架构搜索范式。本文还比较了 “Lottery Ticket Hypothesis”，发现在最佳学习率下，与随机初始化相比，其 “获胜券” 初始化并未带来提高。

    Oct, 2018

  • 神经剪枝中保持可训练性

    本文介绍了一种具有可扩展性的训练可塑性剪枝方法（TPP），该方法通过惩罚卷积内核的克罗内克矩阵来使神经网络保持可训练性，从而在剪枝表现和对再培训超参数的鲁棒性方面得到了改善，特别是在具有非线性结构的 ConvNets 上表现明显优于其他对应方法。

    Jul, 2022

  • 基于信号传播视角的神经网络初始化剪枝

    该研究使用一种基于梯度的敏感度准则，阐述了初始化条件和网络结构剪枝的之间的关系，提出一种无需数据的改进方法，可用于图像分类任务中的先剪枝训练。

    Jun, 2019

  • 保持梯度流的情况下在训练之前选择获胜的票数

    该研究旨在通过初始修剪神经网络来提高训练和测试时的资源效率。通过保留网络中的梯度流，提出了一个名为 GraSP 的简单但有效的剪枝标准，并在 VGGNet 和 ResNet 架构上进行了广泛实验，证明其在极度稀疏的情况下具有更好的性能。

    Feb, 2020

  • 初始化时的鲁棒剪枝

    深度神经网络修剪方法的全面理论分析及其在各种网络架构上的实验验证。

    Feb, 2020

  • 梯度下降剪枝神经网络

    我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数的 0.15％。此外，我们的框架提升了神经网络的可解释性，不仅能够轻松从剪枝网络中提取特征重要性，而且能够可视化特征对称性和信息传递路径，学习策略通过深度学习得到，但却令人惊讶地直观且可理解，专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。

    Nov, 2023