本文分析了 25 种不同的搜索空间和数据集中流行的 NAS 算法和性能预测方法，发现从少数 NAS 基准得出的许多结论不适用于其他基准。因此，我们推出了 NAS-Bench-Suite，这是一套全面可扩展的 NAS 基准，通过统一接口访问，旨在促进可重现、可推广和快速的 NAS 研究。

Jan, 2022

本文介绍了 NAS-Bench-101，这是第一个公开的神经架构搜索数据集，并描述了它是如何通过在 CIFAR-10 上训练和评估超过 423k 个卷积架构来构建的，旨在帮助研究者在毫秒内查询预计算的数据集来评估各种模型的质量。此外，作者还展示了该数据集作为整体的可用性以及对一系列架构优化算法进行基准测试的实用性。

Feb, 2019

本文的研究内容是基于文本数据集的循环神经网络搜索空间，旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中，研究者在文本数据集上训练了 14k 种循环神经网络结构，并进行了内在和外在的评估，最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。

Jun, 2020

为了解决神经结构搜索方法需要大量计算资源的问题，提出了一种使用代理 NAS 基准来对任意搜索空间进行成本相对较低的科学评估的方法，并证明代理 NAS 基准可以更好地建模架构的真实性能，以及扩展了 NAS 领域的科学研究范围。

Aug, 2020

本研究提出了一个名为 HW-NAS-Bench 的数据集，该数据集包含了网络搜索空间中所有网络的硬件性能表现数据，并对其进行了综合分析。与通用 NAS 相似，硬件感知神经架构搜索（HW-NAS）是一项需要大量计算资源和硬件设备的研究任务。本数据集让硬件不熟悉的研究者也能参与 HW-NAS 研究，并证明专门针对特定设备进行的 HW-NAS 确实可以导致最佳的准确性 - 成本平衡。

Mar, 2021

本论文介绍了一种新的方法，使用奇异值分解和噪声建模来创建代理基准，该方法可以替代缺乏完整训练信息的流行基准，如 NAS-Bench-111、NAS-Bench-311 和 NAS-Bench-NLP11，从而实现对多保真技术的评估。展示了使用全面的训练信息修改单保真算法的学习曲线外推框架的强大能力，并表明这种方法比当时声称是最先进的保真算法有更好的表现。

Nov, 2021

本文通过对 NAS-Benchmark 的分析，证明了通过直接在 NAS-Bench-201，ImageNet16-120 和 TransNAS-Bench-101 上搜索可以产生更可靠的结果，找到了卷积层对体系结构性能的影响，为评估和比较 NAS 方法提供了建议。

Mar, 2023

最近神经网络架构搜索 (NAS) 的发展强调考虑恶意数据下的鲁棒性架构的重要性，然而，在搜索这些鲁棒性架构时，尤其是在考虑对抗训练时，缺乏显著的基准评估和理论保证。本文旨在解决这两个挑战，做出了双重贡献：首先，我们发布了一个综合数据集，该数据集包含来自 NAS-Bench-201 搜索空间在图像数据集上经过对抗训练的网络的干净准确度和鲁棒准确度；其次，利用深度学习理论中的神经切线核 (NTK) 工具，我们建立了一个关于在干净准确度和鲁棒准确度下搜索架构的泛化理论，该理论适用于多目标对抗训练。我们坚信，我们的基准和理论见解将对 NAS 社区产生重大影响，通过可靠的再现性、高效的评估和理论基础，特别是在追求鲁棒架构方面。

Mar, 2024

通过研究公开可用的神经结构搜索基准，我们借鉴元学习的丰富领域，关注任务级相关性和预测器可迁移性的关系，并实验证明我们的元学习方法不仅在交叉验证实验中表现出卓越（或匹配）性能，还成功地在新的搜索空间和任务中展开了推广。

Nov, 2023

该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

Jan, 2021