May, 2020

动态稀疏训练：通过可训练掩码层从头开始找出高效的稀疏网络

HTML
PDF
TL;DR本文介绍了一种新的神经网络剪枝算法——Dynamic Sparse Training，它可以通过可训练的剪枝门限实现优化神经网络参数和结构，并通过反向传播动态地进行精细化调整。利用这一算法，我们可以轻松训练出效果优秀的稀疏神经网络。与其他稀疏训练算法相比，Dynamic Sparse Training在多个网络架构上取得了业界领先水平。此外，我们还发现了传统三阶段剪枝算法的潜在问题，为更紧凑的神经网络架构设计提供了理论指导。
发现论文，激发创造
  • 使用目标化dropout学习稀疏网络

    使用有针对性的dropout进行神经网络的训练，可以使网络更容易剪枝并且保持稀疏性。

    May, 2019

  • 从零开始的稀疏神经网络：在不降低性能的情况下更快地训练

    本文研究了通过发展一种称为稀疏动量的算法，实现在深度神经网络训练过程中，保持稀疏权重的同时实现稠密表现水平的加速训练方法，实验证明稀疏动量可靠地重现稠密表现水平并提供最多5.61倍的训练加速度。

    Jul, 2019

  • 稠密网络的价格变得稀疏：通过子空间偏移改善稀疏初始化网络的性能

    介绍了一种新的DCT加稀疏层架构，即使只剩下0.01％可训练的核参数，也能保持信息传递和可训练性；同时，此种新架构用於精简网络在初始化後的训练可达到极端稀疏度时的最高准确性。

    Feb, 2021

  • 连通性的重要性：基于有效稀疏度的神经网络剪枝

    本文针对神经网络剪枝技术在高稀疏度领域的应用，提出了新的有效稀疏度概念，重定义了性能评价指标，同时开发了一个成本较低的扩展工具，通过评估各种剪枝算法的绝对和相对性能表现，证明新的评价框架下与基于初始化的剪枝算法相比，随机剪枝仍然是一种可行的方法。

    Jul, 2021

  • 神经网络的自动稀疏连通性学习

    本文提出了一种名为Sparse Connectivity Learning的新型自动裁剪方法，通过使用二进制掩码描述网络连接，同时使用Identity STE进行离散掩码松弛。在目标函数中加入网络总连接数的正则化项，无需定义裁剪标准或超参数即可探索网络以实现最佳性能。实验结果表明，使用SCL训练的深度学习模型在稀疏度、准确性和FLOPs减少方面优于其他自动剪枝方法。

    Jan, 2022

  • 随机剪枝的不合理有效性: 最朴素的稀疏训练基线模型的回归

    本研究探讨了如何在现代神经网络中使用稀疏训练，提出了初始化时的随机剪枝能够有效地提高神经网络的稀疏训练性能，结果表明此方法可以匹配对应的密集网络，达到了预期效果，并且进行适当的层级稀疏比率的选择，可以进一步提高性能。

    Feb, 2022

  • 将多张小票叠加为一张：稀疏神经网络训练的性能提升器

    本文提出了一种用有限的训练资源制造多个性价比高的稀疏神经网络子网络，并将它们叠加在一起形成一个更加强大的子网络的新型稀疏训练方法 Sup-tickets，该方法可以同时满足在标准训练时间内有效地生成多个低损失子网络和有效地将这些低成本子网络叠加成一个更强的子网络的两个愿望。在CIFAR-10/100和ImageNet等各种现代架构上展示了 Sup-tickets 的一致性性能改进。

    May, 2022

  • 使用任何掩码更好地训练您的稀疏神经网络

    本研究提出了一种新的稀疏训练技术，使用“幽灵”神经元和跳跃连接等训练初始策略来提高性能和稳定性，适用于各种稀疏掩蔽方法下的深度学习网络

    Jun, 2022

  • 循环稀疏训练：足够吗?

    通过重复周期性训练，我们提出了SCULPT-ing方法，即通过稀疏掩膜的重复周期性训练，然后进行单次剪枝步骤以耦合参数和掩膜，从而在减少计算成本的同时，在高稀疏度条件下达到与最先进的迭代剪枝方法相匹配的性能。

    Jun, 2024

  • 剪枝局限暴露：稀疏模型的挑战

    我们通过对一个我们创建的名为Cubist Spiral的合成数据集进行了一系列485,838次的实验，研究了现有的剪枝算法在压缩大规模模型时回复最稀疏模型的有效性，并通过一种新颖的组合搜索算法发现在性能上存在明显差距。我们认为这种差距是因为现有的剪枝算法在过度参数化下的不良行为、在网络中引入不连通路径的倾向以及在给定最佳宽度和初始化的情况下倾向于陷入次优解的性质所致。鉴于我们研究中所使用的网络架构和数据集的简单性，这种差距令人担忧。我们希望我们的研究能够鼓励进一步对追求真正网络稀疏性的新型剪枝技术进行研究。

    Jul, 2024