本文介绍了神经架构搜索的基本概念以及搜索空间、算法和评估技术的主要进展。

May, 2020

本文通过对 NAS-Benchmark 的分析，证明了通过直接在 NAS-Bench-201，ImageNet16-120 和 TransNAS-Bench-101 上搜索可以产生更可靠的结果，找到了卷积层对体系结构性能的影响，为评估和比较 NAS 方法提供了建议。

Mar, 2023

本篇论文研究了神经架构搜索中搜索策略的有效性，并比较了 NAS 搜索策略与随机体系结构选择的质量，发现当前优秀的 NAS 算法与随机策略表现相似，并且广泛使用的权重共享策略降低了 NAS 候选项的排名。通过该研究，期望设计出更为优越的 NAS 策略和创造一一种新的评估框架。

Feb, 2019

本文的研究内容是基于文本数据集的循环神经网络搜索空间，旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中，研究者在文本数据集上训练了 14k 种循环神经网络结构，并进行了内在和外在的评估，最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。

Jun, 2020

神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词，该论文介绍了为一系列 NAS 挑战创建的八个数据集，以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。

Apr, 2024

利用数学规划，MathNAS 提出一种分治策略用于神经架构搜索，通过计算可能模块的表现来直接预测网络性能，从而大幅降低了网络性能评估的复杂性。

Nov, 2023

研究使用神经结构搜索（NAS）算法通过对 loss landscape 以及 gradient information 的分析，发现其倾向于选择使用 wide and shallow cell structures 的架构，虽然这些架构具有快速收敛的优势，但不一定能获得比其他架构更好的泛化性能。因此，有必要修正现有的 NAS 算法。

Sep, 2019

本文分析了 25 种不同的搜索空间和数据集中流行的 NAS 算法和性能预测方法，发现从少数 NAS 基准得出的许多结论不适用于其他基准。因此，我们推出了 NAS-Bench-Suite，这是一套全面可扩展的 NAS 基准，通过统一接口访问，旨在促进可重现、可推广和快速的 NAS 研究。

Jan, 2022

过去十年，深度学习的发展在计算机视觉、自然语言理解、语音识别和强化学习等多个领域取得了重大突破。神经架构搜索是自动化机器学习的必然发展方向，已经在很多任务上超过了最好的人类设计架构。本文概述不同的搜索空间、算法和加速技术，并介绍了基准、最佳实践、其他综述和开放源代码库。

Jan, 2023

介绍了一系列可能出现的问题和避免它们的方法，从而制定出一份最佳实践清单，以提高神经结构搜索的科学实证评估水平。

Sep, 2019