Jul, 2023

LISSNAS: 基于局部性的迭代搜索空间缩减的神经架构搜索

PDF
TL;DR我们提出了 LISSNAS，一种自动算法，它将一个大空间缩小为一个多样化的小搜索空间，具有 SOTA 的搜索性能。我们展示了我们的方法在不同大小和数据集范围的搜索空间上的效果，并在两个不同的搜索空间中实现了最佳的 Top-1 准确率。在移动约束下，我们的方法在 ImageNet 上实现了 SOTA 的 Top-1 准确率为 77.6％，具有最佳的 Kendal-Tau、架构多样性和搜索空间大小。
neural architecture searchsearch spacessearch space shrinkage methodslissnasautomated algorithm
发现论文，激发创造
  • AtomNAS：细粒度端到端神经架构搜索

    该文章提出了一种细粒度的搜索空间，有效地解决了神经体系结构搜索 (NAS) 中的搜索空间设计问题，其中包括资源感知的架构搜索框架和动态网络收缩技术，可同时进行搜索和训练，并在 ImageNet 上以小的搜索成本取得了最先进的性能。

    Dec, 2019

  • ISTA-NAS：通过稀疏编码实现高效、一致的神经架构搜索

    通过稀疏编码的方法，进行可微的搜索及网络结构恢复，以满足稀疏性约束，提高了神经结构搜索的效率和性能。

    Oct, 2020

  • 通过压缩感知的单次神经架构搜索

    本文提出一种迭代学习方法，旨在解决神经架构搜索中的元学习问题。该方法使用参数共享思想，利用代理模型来减少 NAS 运行时间，并在 DARTs 搜索空间和 NAS-Bench-201 上验证了其可行性。此外，作者还提供了理论分析及脱敏研究以进一步深入了解其技术。

    Jun, 2019

  • LayerNAS：多项式复杂度下的神经架构搜索

    LayerNAS 是一种利用组合优化来解决多目标神经网络架构搜索的方法，能够在多种搜索空间中发现优秀的模型候选项。

    Apr, 2023

  • NAS-LID：具有本地固有维度的高效神经架构搜索

    本文提出了一种基于局部内在维度的神经架构搜索方法 NAS-LID，有效地降低了异构子网络优化中性能排名的相关性干扰，实现了更高效的神经架构搜索。

    Nov, 2022

  • 局部搜索是神经架构搜索的一个极强的基准

    本文介绍一种新增的局部搜索 (Local Search) 算法，用于在多目标 (网络精度与复杂度) 条件下，对神经网络进行结构搜索。同时，本文提供两种基准数据集 MacrosNAS-C10 和 MacrosNAS-C100，并将所提出的算法与随机搜索 (RS) 和进化算法 (EAs) 进行了比较，发现局部搜索算法在相同数据集下具备比随机搜索更高的性能。

    Apr, 2020

  • 朝着更少限制的宏观神经架构搜索

    本文提出了一种名为 LCMNAS 的方法，它能够在非约束搜索空间条件下执行宏搜索，同时不依赖于预定义的启发式算法或范围限制，并引入三个组成部分来推动神经架构搜索方向的发展：利用有关广泛应用架构的信息，自主生成基于具有隐藏属性的加权有向图的复杂搜索空间的方法，从头开始生成完整的架构的进化搜索策略，以及结合有关初始化阶段和更低保真度估计的信息来推断它们对于建模复杂函数的训练能力和容量情况的混合性能估计方法，在 13 个不同的数据集上进行了实验，显示出 LCMNAS 能够使用最少 GPU 计算生成单元和基于宏的架构，并在各方面都取得了最先进的结果。

    Mar, 2022

  • 一次搜索即可：通过直接稀疏优化进行单射神经架构搜索

    该论文提出了一种名为 DSO-NAS 的神经架构搜索方法，采用基于稀疏正则化的模型修剪视角，利用逐步引入稀疏网络的方法来解决搜索空间庞大且不连续的问题，在 CIFAR-10 数据集上达到了 2.84％的平均测试误差，在 ImageNet 数据集上，仅使用 8 块 GPU 600M FLOPs 进行 18 小时的训练可以达到 25.4％的测试误差。

    Nov, 2018

  • 学习动作空间的高效神经架构搜索

    本文提出了一种名为 LaNAS 的神经结构搜索方法，通过学习用于递归将搜索空间分成具有相似性能指标的好或坏区域的动作，可以显着提高搜索效率，实验结果表明，LaNAS 至少比进化算法、贝叶斯优化和随机搜索等基线方法高一个数量级的采样效率，可以在较少的采样次数中达到令人惊叹的性能。

    Jun, 2019

  • 神经网络结构生成器优化

    本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展， 并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

    Apr, 2020