局部搜索是神经架构搜索的一个极强的基准

Apr, 2020

局部搜索是神经架构搜索的一个极强的基准

Local Search is a Remarkably Strong Baseline for Neural Architecture Search

T. Den Ottelander, A. Dushatskiy, M. Virgolin, P. A. N. Bosman

TL;DR本文介绍一种新增的局部搜索 (Local Search) 算法，用于在多目标 (网络精度与复杂度) 条件下，对神经网络进行结构搜索。同时，本文提供两种基准数据集 MacrosNAS-C10 和 MacrosNAS-C100，并将所提出的算法与随机搜索 (RS) 和进化算法 (EAs) 进行了比较，发现局部搜索算法在相同数据集下具备比随机搜索更高的性能。

Abstract

neural architecture search (NAS), i.e., the automation of neural network design, has gained much popularity in recent years with increasingly complex search algorithms being proposed. Yet, solid comparisons with simple baselines are often missing. At the same time, recent retrospective

neural architecture search local search multi-objective optimization benchmark datasets cifar

发现论文，激发创造

神经架构搜索的随机搜索与可复现性

本文介绍了一种基于随机搜索和超参数优化的神经架构搜索方法，并探讨了该领域中已有的研究成果的可重复性问题。研究结果表明，该方法在两个标准的 NAS 基准测试中表现出色，并且可以复现。

Feb, 2019

NAS 评估非常困难

在本文中，我们提出了用于比较 NAS 方法的基准测试，并对常用的 DARTS search space 进行了进一步的实验。我们发现，手工设计的宏观结构比搜索到的微观结构更重要，并且深度间隔是一个真实的现象，最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。

Dec, 2019

朝着更少限制的宏观神经架构搜索

本文提出了一种名为 LCMNAS 的方法，它能够在非约束搜索空间条件下执行宏搜索，同时不依赖于预定义的启发式算法或范围限制，并引入三个组成部分来推动神经架构搜索方向的发展：利用有关广泛应用架构的信息，自主生成基于具有隐藏属性的加权有向图的复杂搜索空间的方法，从头开始生成完整的架构的进化搜索策略，以及结合有关初始化阶段和更低保真度估计的信息来推断它们对于建模复杂函数的训练能力和容量情况的混合性能估计方法，在 13 个不同的数据集上进行了实验，显示出 LCMNAS 能够使用最少 GPU 计算生成单元和基于宏的架构，并在各方面都取得了最先进的结果。

Mar, 2022

LISSNAS: 基于局部性的迭代搜索空间缩减的神经架构搜索

我们提出了 LISSNAS，一种自动算法，它将一个大空间缩小为一个多样化的小搜索空间，具有 SOTA 的搜索性能。我们展示了我们的方法在不同大小和数据集范围的搜索空间上的效果，并在两个不同的搜索空间中实现了最佳的 Top-1 准确率。在移动约束下，我们的方法在 ImageNet 上实现了 SOTA 的 Top-1 准确率为 77.6％，具有最佳的 Kendal-Tau、架构多样性和搜索空间大小。

Jul, 2023

LayerNAS：多项式复杂度下的神经架构搜索

LayerNAS 是一种利用组合优化来解决多目标神经网络架构搜索的方法，能够在多种搜索空间中发现优秀的模型候选项。

Apr, 2023

使用随机标签的神经架构搜索

本文提出了一种名为 ' 随机标签神经架构搜索 ' 的新型神经架构搜索范例，该算法基于 ' 易于收敛假设 '，只需要使用随机标签便可搜索到性能优异的候选网络，实验证明，该算法在多个数据集和搜索空间中均取得了比当前最先进的 NAS 方法（如 PC-DARTS，Single Path One-Shot）更好甚至可比的效果，为进一步了解 NAS 的本质提供了新思路。

Jan, 2021

神经架构搜索的搜索阶段评估

本篇论文研究了神经架构搜索中搜索策略的有效性，并比较了 NAS 搜索策略与随机体系结构选择的质量，发现当前优秀的 NAS 算法与随机策略表现相似，并且广泛使用的权重共享策略降低了 NAS 候选项的排名。通过该研究，期望设计出更为优越的 NAS 策略和创造一一种新的评估框架。

Feb, 2019

NAS-Bench-NLP: 自然语言处理神经架构搜索基准

本文的研究内容是基于文本数据集的循环神经网络搜索空间，旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中，研究者在文本数据集上训练了 14k 种循环神经网络结构，并进行了内在和外在的评估，最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。

Jun, 2020

MANAS：多智能体神经架构搜索

本文提出了两种轻量级的神经架构搜索算法，并将 NAS 问题转化为多智能体问题以提高计算效率，理论上证明了 O (sqrt (T)) 的消失后悔率，实验结果在多个数据集和网络配置上表现优异，其中包括随机搜索。

Sep, 2019

使用以前未见的神经架构搜索数据集的洞察

神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词，该论文介绍了为一系列 NAS 挑战创建的八个数据集，以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。

Apr, 2024