ICLRMay, 2020

动态稀疏训练：通过可训练掩码层从头开始找出高效的稀疏网络

PDF
TL;DR本文介绍了一种新的神经网络剪枝算法 ——Dynamic Sparse Training，它可以通过可训练的剪枝门限实现优化神经网络参数和结构，并通过反向传播动态地进行精细化调整。利用这一算法，我们可以轻松训练出效果优秀的稀疏神经网络。与其他稀疏训练算法相比，Dynamic Sparse Training 在多个网络架构上取得了业界领先水平。此外，我们还发现了传统三阶段剪枝算法的潜在问题，为更紧凑的神经网络架构设计提供了理论指导。
dynamic sparse trainingnetwork pruningsparse neural networksbackpropagationcompact network architectures
发现论文，激发创造
  • 使用任何掩码更好地训练您的稀疏神经网络

    本研究提出了一种新的稀疏训练技术，使用 “幽灵” 神经元和跳跃连接等训练初始策略来提高性能和稳定性，适用于各种稀疏掩蔽方法下的深度学习网络

    Jun, 2022

  • 动态稀疏重参数化实现深度卷积神经网络的参数高效训练

    介绍了一种新的动态稀疏重参数化方法，能够更有效地训练深度卷积神经网络，在固定的参数预算下达到最佳准确率，并发现在训练过程中探索结构自由度比增加额外的参数对网络性能的提升更为有效。

    Feb, 2019

  • 动态模型剪枝与反馈

    提出一种新的模型压缩方法，通过允许稀疏模式的动态分配和合理使用反馈信号使得模型可以在单一训练过程中生成一个高性能的稀疏模型，且其性能超越了现有的所有修剪方案生成的模型，在 CIFAR-10 和 ImageNet 数据集上进行验证。

    Jun, 2020

  • 突破确定性障碍：随机修剪掩码的生成和选择

    在同等模型大小约束下，大而稀疏的模型普遍比小而密集的模型具有更高的准确性。因此，本文提出了一种模型修剪策略，首先以设计的随机方式生成多个修剪掩码，然后通过一个有效的掩码选择规则从候选掩码组中选择最优掩码。为了进一步提高效率，引入了一种早期掩码评估策略，减少了训练多个掩码的开销。在 GLUE 数据集的八个数据集上进行了广泛的实验证明，该方法在高稀疏水平下实现了最先进的性能。

    Oct, 2023

  • 神奇的权重及其搜索方法：如何在动态稀疏训练中进行裁剪

    本论文主要研究动态稀疏训练中修剪准则的影响，发现在低密度环境下，最优性能主要取决于最简单的技术：基于大小的修剪。

    Jun, 2023

  • 大规模的真正稀疏神经网络

    本文介绍了一种针对稀疏神经网络的并行训练算法、非可训练参数激活函数、隐藏神经元重要性指标等三个新型贡献，该方法能够最大程度地利用稀疏神经网络的潜力。实验结果表明，这种方法具有最前沿的性能，同时为实现环保型人工智能奠定了基础。

    Feb, 2021

  • 自动语音识别的动态稀疏神经网络

    本文介绍了动态稀疏神经网络 (DSNN) 技术，该技术能够在训练后根据需要在运行时即时切换到任何预定义的稀疏度配置，有效地解决了自动语音识别 (ASR) 等场景中硬件资源限制和延迟要求不同的问题，实验结果表明，DSNN 模型的表现与单一稀疏度网络的表现相当。

    May, 2020

  • 无需训练的动态稀疏化：针对稀疏长模型的零训练微调

    基于 Dynamic Sparse No Training (DSnoT) 的训练无关的微调方法，能够有效地提高稀疏语言模型的性能，并开拓了将稀疏性应用于大型语言模型的潜力。

    Oct, 2023

  • 准确神经网络剪枝需要重思稀疏优化

    使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。

    Aug, 2023

  • 循环稀疏训练：足够吗？

    通过重复周期性训练，我们提出了 SCULPT-ing 方法，即通过稀疏掩膜的重复周期性训练，然后进行单次剪枝步骤以耦合参数和掩膜，从而在减少计算成本的同时，在高稀疏度条件下达到与最先进的迭代剪枝方法相匹配的性能。

    Jun, 2024