本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展， 并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

Apr, 2020

本文提出了具有可证明收敛保证的生成式对抗网络 NAS (GA-NAS)，并基于权重的鉴别器提供的奖励，采用增强学习训练生成器，探索搜寻空间而无需评估大量体系结构，通过三个公共 NAS 基准测试，在多个情况下 GA-NAS 都能打败已发布的最佳结果，同时 GA-NAS 可以处理特定搜寻约束和空间，能用于改进其他 NAS 方法找到的优化基线的 ImageNet 准确性或参数数量。

May, 2021

本文提出了一种名为 “Generic NAS” 的通用 NAS 框架，该框架采用自监督回归任务来评估架构的内在能力，并且在 13 个 CNN 搜索空间和一个 NLP 空间上进行了广泛的实验，展示了 GenNAS 的显着高效性（通过 Spearman 的 rho 度量的排名相关性和训练的收敛速度都得到了提升），并回答了两个与 NAS 相关的基本问题。

Aug, 2021

在本文中，我们提出了用于比较 NAS 方法的基准测试，并对常用的 DARTS search space 进行了进一步的实验。我们发现，手工设计的宏观结构比搜索到的微观结构更重要，并且深度间隔是一个真实的现象，最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。

Dec, 2019

研究使用神经结构搜索（NAS）算法通过对 loss landscape 以及 gradient information 的分析，发现其倾向于选择使用 wide and shallow cell structures 的架构，虽然这些架构具有快速收敛的优势，但不一定能获得比其他架构更好的泛化性能。因此，有必要修正现有的 NAS 算法。

Sep, 2019

本文介绍了神经架构搜索的基本概念以及搜索空间、算法和评估技术的主要进展。

May, 2020

该研究引入了一种名为 Flat Neural Architecture Search (FlatNAS) 的新型 NAS 解决方案，其探索了基于对权重扰动的鲁棒性和使用 Sharpness-Aware Minimization (SAM) 进行单个 NN 优化之间的相互作用。FlatNAS 是文献中首个系统性地探索 NN 损失景观中的平坦区域的 NAS 方法，并同时优化其在分布数据、OOD 鲁棒性和体系结构参数数量上的性能。与当前主要关注 OOD 算法的研究不同，FlatNAS 成功地评估了 NN 体系结构对 OOD 鲁棒性的影响，这在机器和深度学习的真实应用中是一个关键因素。FlatNAS 通过仅使用分布数据在 NAS 探索中达到了性能、OOD 泛化和参数数量之间的良好平衡。通过在文献中使用流行的基准数据集，评估了 NAS 设计的模型对输入数据破坏的鲁棒性。

Feb, 2024

神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词，该论文介绍了为一系列 NAS 挑战创建的八个数据集，以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。

Apr, 2024

GPT-NAS 是一种基于预训练模型的神经结构搜索算法，通过引入先验知识来大大减少搜索空间，从而优化神经网络架构，并在实验中取得了比其他七个手动设计的神经结构和竞争 NAS 方法提供的 13 个神经结构的好结果，并提高了经过精细调整的神经结构的性能。

May, 2023

本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

Jul, 2020