Oct, 2020

PHEW：无需训练数据便可学习快速、泛化良好的稀疏网络构建

PDF
TL;DR本文基于神经切比雪夫内核（NTK）的分解，提出了一种基于路径加权的概率网络形成方法，可在不需要训练数据的情况下构建稀疏神经网络，并取得更好的泛化性能。
sparse neural networksneural tangent kernelsynflow-l2 algorithmpath kernelprobabilistic network formation
发现论文，激发创造
  • 通过迭代保持突触流动来修剪神经网络

    我们提出了一种不需要训练数据也能够在初始阶段识别高度稀疏的可训练子网络的剪枝算法，该算法基于神经突触流动原理并叫做迭代神经突触流剪枝算法（SynFlow），在多种模型、数据集和稀疏约束条件下，表现出和现有最先进的基于梯度的剪枝算法相当或更好的结果，成功挑战了基于训练数据来定量判断哪些突触重要的传统范式。

    Jun, 2020

  • 初始化剪枝的统一路径视角

    使用神经切向核的理论近似，通过引入路径核将几种网络剪枝方法统一到单一的路径中心框架下，并分析了其对网络训练动态的影响及其相互关系，进而提出了两种初始化剪枝算法的改进方法。

    Jan, 2021

  • 大偏差下宽神经网络的收敛性和泛化性

    该研究通过神经切向核（NTK）模式下的梯度下降探讨了训练一层过度参数化的 ReLU 网络，其中网络的偏置被初始化为某个常量而不是零。该初始化的诱人好处是神经网络将可以在整个训练过程中保持稀疏激活，从而实现快速训练。结果表明，在稀疏化后，网络可以实现与密集网络一样快的收敛速度。其次，提供了宽度稀疏性的相关性，给出了一个稀疏性相关的 Rademacher 复杂度和泛化性能界限。最后，研究了极限 NTK 的最小特征值，发现可以使用可训练偏置来提高推广性。

    Jan, 2023

  • NTK-SAP: 通过对齐训练动态改进神经网络剪枝

    该研究旨在通过剪枝神经网络来减少其训练时间和内存使用，本研究提出了一种名为 NTK-SAP 的方法，它基于神经切向核的谱对网络进行剪枝，并在多个数据集上实现了优异的表现。

    Apr, 2023

  • 通过神经切向传递发现可训练的稀疏网络

    本文介绍 “神经切向转移” 这一方法，通过在非标签环境下找到了训练动态和密集网络类似的可训练稀疏网络，通过标准的分类任务测试结果显示，这种方法能够更快地达到更高的分类性能。

    Jun, 2020

  • 始终稀疏训练：引导随机探索下的连接增长

    现代人工神经网络的过多计算需求为可以运行它们的机器带来了限制。我们提出一种高效的、始终稀疏训练算法，具有一流的大规模和更稀疏模型的线性时间复杂度，并通过引导随机探索算法改善了先前稀疏训练方法的准确性。

    Jan, 2024

  • 网络剪枝空间

    本研究提出网络剪枝空间的概念，探讨子网络结构在不同剪枝范围内的最小精度损失并证明了在某个剪枝范围内存在最佳的 FLOPs-to-parameter-bucket 比率，通过实验结果表明，我们找到的子网络在合理的 FLOPs 下优于现有最先进的剪枝方法。

    Apr, 2023

  • 使用 IHT 学习稀疏神经网络

    本文旨在通过提供收敛所需的全部条件的理论证明，研究在神经网络训练领域中，这种收敛的理论先决条件是否适用。然后，通过在单层神经网络上使用 IRIS 数据集进行实验验证这些条件。

    Apr, 2024

  • 针对大语言模型微调的参数高效稀疏化

    该研究提出了参数有效的稀疏训练 (PST) 方法，通过减少可训练参数的数量以使得稀疏训练资源有效并具有参数效益，从而解决了稀疏训练时计算开销和内存占用的问题，在 BERT，RoBERTa 和 GPT-2 等网络上得到了有效验证。

    May, 2022

  • 快速稀疏卷积神经网络

    本文介绍了一种使用稀疏性来代替密集操作的高效神经网络建模方法，通过实现一系列高效的稀疏基本操作，并将其用于 MobileNet v1，MobileNet v2 和 EfficientNet 等体系结构中进行了测试，表明稀疏模型不仅效率更高，而且精度比基准模型更高。

    Nov, 2019