Mar, 2024

稀疏神经网络架构搜索的基准随机搜索

PDF
TL;DR稀疏神经网络通过更高的参数效率展现出与密集网络类似甚至更好的泛化性能，但由于缺乏标准基线方法，可靠的比较和可重现性受到限制。本研究提供了一种评估方法和一种基于随机搜索的朴素基线方法，用于寻找良好的稀疏配置，并发现随机搜索在初始化稀疏子网络中并不能表现得更好或更高效。因此，我们得出结论认为随机搜索可以被视为适用于稀疏搜索方法的中性基准线。
sparse neural networksparameter efficiencybaseline methodsparsity search methodsrandom search
发现论文，激发创造
  • 随机剪枝的不合理有效性：最朴素的稀疏训练基线模型的回归

    本研究探讨了如何在现代神经网络中使用稀疏训练，提出了初始化时的随机剪枝能够有效地提高神经网络的稀疏训练性能，结果表明此方法可以匹配对应的密集网络，达到了预期效果，并且进行适当的层级稀疏比率的选择，可以进一步提高性能。

    Feb, 2022

  • 神经架构搜索的随机搜索与可复现性

    本文介绍了一种基于随机搜索和超参数优化的神经架构搜索方法，并探讨了该领域中已有的研究成果的可重复性问题。研究结果表明，该方法在两个标准的 NAS 基准测试中表现出色，并且可以复现。

    Feb, 2019

  • 稀疏超网络下的神经架构搜索

    本论文旨在将神经架构搜索的问题从单路径和多路径搜索扩大到自动混合路径搜索。我们提出了一种新的连续架构表示方法，利用稀疏超网络和稀疏性约束来实现自动混合路径搜索。同时，我们采用了分层加速的近端梯度算法来优化所提出的稀疏超网络，并在卷积神经网络和循环神经网络搜索中进行了广泛的实验，证明了该方法能够搜索到紧凑、通用和强大的神经结构。

    Jul, 2020

  • 准确神经网络剪枝需要重思稀疏优化

    使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。

    Aug, 2023

  • ISTA-NAS：通过稀疏编码实现高效、一致的神经架构搜索

    通过稀疏编码的方法，进行可微的搜索及网络结构恢复，以满足稀疏性约束，提高了神经结构搜索的效率和性能。

    Oct, 2020

  • 权重共享能否优于随机架构搜索？一项基于 TuNAS 的研究

    本文比较了基于权重共享的高效神经结构搜索算法和随机搜索方法在不同问题领域下的性能表现；同时，该文提出并评估了一些技术手段可用于改进搜索到的结构的质量，进一步降低人工超参数调参的需求。

    Aug, 2020

  • 通过自适应稀疏连接提高深度学习的泛化能力

    本文中，我们提出了一种基于稀疏连接的神经网络模型，使用自适应稀疏连接和纯化神经元的方法进行训练，并将其应用于 MLP 模型上，测试结果表明，该方法在 15 个数据集上表现出了竞争性的分类和泛化性能。

    Jun, 2019

  • 一次搜索即可：通过直接稀疏优化进行单射神经架构搜索

    该论文提出了一种名为 DSO-NAS 的神经架构搜索方法，采用基于稀疏正则化的模型修剪视角，利用逐步引入稀疏网络的方法来解决搜索空间庞大且不连续的问题，在 CIFAR-10 数据集上达到了 2.84％的平均测试误差，在 ImageNet 数据集上，仅使用 8 块 GPU 600M FLOPs 进行 18 小时的训练可以达到 25.4％的测试误差。

    Nov, 2018

  • 稀疏神经网络训练

    本研究介绍了一种使用稀疏计算的神经网络训练和构建方法，通过引入额外的门变量来执行参数选择，并在小型和大型网络上进行实验验证，证明了我们的方法在稀疏神经网络模型的压缩方面取得了最先进的结果。

    Nov, 2016

  • 更多探索的动态稀疏训练

    本文提出了基于动态稀疏训练的稀疏连接性搜索问题的开发和探索获取函数，旨在使稀疏训练达到更高的准确性和更高的稀疏度，实验结果表明，相较于目前最先进的稀疏训练方法，在多项深度学习任务中，本文所提出的方法额外具有更高的准确性。

    Nov, 2022