ICCVAug, 2023

超稀疏神经网络：通过自适应正则化将探索转化为利用

PDF
TL;DR提出了一种新颖且强大的稀疏学习方法：自适应正则化训练（ART）。通过逐步增加权重正则化，我们将稠密网络压缩为稀疏网络，并通过最高权重的方式压缩预训练模型的知识。在极高稀疏度情景下，我们的方法在 CIFAR 和 TinyImageNet 上比其他稀疏化方法具有显著的性能提升，并对高量级权重中编码的模式提供了新的认识。
sparse neural networksadaptive regularized trainingweight regularizationhypersparseperformance gains
发现论文，激发创造
  • 始终稀疏训练：引导随机探索下的连接增长

    现代人工神经网络的过多计算需求为可以运行它们的机器带来了限制。我们提出一种高效的、始终稀疏训练算法，具有一流的大规模和更稀疏模型的线性时间复杂度，并通过引导随机探索算法改善了先前稀疏训练方法的准确性。

    Jan, 2024

  • 正则化压缩神经网络的学习

    研究了深度神经网络的正则梯度下降算法，并通过量化约束集合的复杂度以及研究覆盖维度来探索正则化技术在加速训练、提高泛化性能以及学习更高效紧凑模型方面的优势。

    Feb, 2018

  • 基于正则化的深度神经网络结构中不相关参数修剪

    本研究提出了一种基于正则化技术实现学习稀疏神经拓扑结构的方法，包括对非相关权重标定、压缩优化以及迭代式意义下的参数消除。在图像分类与自然语言生成任务中进行测试，并通过数据指标达到与或优于竞争对手等表现。

    Apr, 2022

  • 准确神经网络剪枝需要重思稀疏优化

    使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。

    Aug, 2023

  • 使用三值网络中的稀疏诱导正则化压缩低精度深度神经网络

    本文提出了一种低精度深度神经网络训练技术，用于生成稀疏三元神经网络，该技术在训练期间考虑硬件实现成本，以实现重要的模型压缩，结果网络精度提高、内存占用和计算复杂性减少，与传统方法相比，在 MNIST 和 CIFAR10 数据集上，我们的网络稀疏度高达 98％，比等价二进制和三进制模型小 5＆11 倍，从而在硬件实现方面具有重大资源和速度优势。

    Sep, 2017

  • AUTOSPARSE: 深度神经网络稀疏训练自动化

    本文提出通过渐进式变化策略的梯度退火（gradient annealing，GA）以及最新的可学习剪枝方法相结合的自动稀疏训练算法 AutoSparse，在 ImageNet-1K 数据集上表现优异，80% 稀疏 ResNet50 的训练和推断 FLOPS 减少分别达到 2 倍和 7 倍。与当前最好的稀疏到稀疏（sparse-to-sparse）方法 MEST 的表现相似，但使用的训练和推理 FLOPS 分别多 12％和 50％不到。

    Apr, 2023

  • 网络修剪的剪枝感知稀疏正则化

    本文提出了一种名为 MaskSparsity 的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在 Deep Learning 领域实现 63.03% 的 FLOP 降低和 60.34% 的参数减少。

    Jan, 2022

  • 深度神经网络中稀疏性的状态

    本文评估了三种在深度神经网络中引入稀疏性的技术，并对两个大规模的学习任务进行了严格评估，结果表明，简单的幅度剪枝方法可以获得相当或更好的性能，而不能从头开始训练稀疏结构，并强调了建立大规模基准测试的必要性。

    Feb, 2019

  • 更多探索的动态稀疏训练

    本文提出了基于动态稀疏训练的稀疏连接性搜索问题的开发和探索获取函数，旨在使稀疏训练达到更高的准确性和更高的稀疏度，实验结果表明，相较于目前最先进的稀疏训练方法，在多项深度学习任务中，本文所提出的方法额外具有更高的准确性。

    Nov, 2022

  • 通过结构化连续稀疏化增加深度网络的效率

    本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。

    Jul, 2020