ICLRFeb, 2022

随机剪枝的不合理有效性：最朴素的稀疏训练基线模型的回归

PDF
TL;DR本研究探讨了如何在现代神经网络中使用稀疏训练，提出了初始化时的随机剪枝能够有效地提高神经网络的稀疏训练性能，结果表明此方法可以匹配对应的密集网络，达到了预期效果，并且进行适当的层级稀疏比率的选择，可以进一步提高性能。
发现论文，激发创造
  • 准确神经网络剪枝需要重思稀疏优化

    使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。

    Aug, 2023

  • 使用任何掩码更好地训练您的稀疏神经网络

    本研究提出了一种新的稀疏训练技术，使用 “幽灵” 神经元和跳跃连接等训练初始策略来提高性能和稳定性，适用于各种稀疏掩蔽方法下的深度学习网络

    Jun, 2022

  • 深度学习中的稀疏性：剪枝和生长用于神经网络的高效推理和训练

    本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。

    Jan, 2021

  • 训练前进行修剪可能改善泛化性能，可以证明

    该研究可以通过不同的修剪比率来影响模型的梯度下降动态和泛化性能，但是过高的修剪比率可能会导致模型性能下降，从而导致模型无法学习到有用的特征。

    Jan, 2023

  • 连通性的重要性：基于有效稀疏度的神经网络剪枝

    本文针对神经网络剪枝技术在高稀疏度领域的应用，提出了新的有效稀疏度概念，重定义了性能评价指标，同时开发了一个成本较低的扩展工具，通过评估各种剪枝算法的绝对和相对性能表现，证明新的评价框架下与基于初始化的剪枝算法相比，随机剪枝仍然是一种可行的方法。

    Jul, 2021

  • 初始化时剪枝的信息论障碍

    彩票模型的存在考虑了深度学习中是否需要大型模型以及是否可以快速识别和训练稀疏网络，而无需训练包含它们的稠密模型。通过对彩票模型的理论解释，揭示了稀疏网络需要依赖于数据的遮罩来稳定插值噪声数据。研究证实了训练过程中获取的信息可以影响模型容量。

    Feb, 2024

  • 突破确定性障碍：随机修剪掩码的生成和选择

    在同等模型大小约束下，大而稀疏的模型普遍比小而密集的模型具有更高的准确性。因此，本文提出了一种模型修剪策略，首先以设计的随机方式生成多个修剪掩码，然后通过一个有效的掩码选择规则从候选掩码组中选择最优掩码。为了进一步提高效率，引入了一种早期掩码评估策略，减少了训练多个掩码的开销。在 GLUE 数据集的八个数据集上进行了广泛的实验证明，该方法在高稀疏水平下实现了最先进的性能。

    Oct, 2023

  • 稀疏神经网络架构搜索的基准随机搜索

    稀疏神经网络通过更高的参数效率展现出与密集网络类似甚至更好的泛化性能，但由于缺乏标准基线方法，可靠的比较和可重现性受到限制。本研究提供了一种评估方法和一种基于随机搜索的朴素基线方法，用于寻找良好的稀疏配置，并发现随机搜索在初始化稀疏子网络中并不能表现得更好或更高效。因此，我们得出结论认为随机搜索可以被视为适用于稀疏搜索方法的中性基准线。

    Mar, 2024

  • 具备稀疏约束的端到端网络剪枝流程

    神经网络稀疏化通过减少模型大小、计算复杂度和内存占用的同时保持竞争性能，成为在资源受限设备上部署的有效技术。本研究开发了适应神经网络稀疏化的全程训练流程，利用非标准模型参数初始化、预修剪训练方法和后修剪训练优化等技术，实现了显著提升于当前最先进的神经网络稀疏化方法的效果。

    Dec, 2023

  • 从头开始剪枝

    本文提出了一种新颖的网络修剪流程，允许从随机初始化的权重开始修剪，加速了传统剪枝方法的预训练负担，同时在相同的计算预算下达到了类似甚至更高的准确性。

    Sep, 2019