Feb, 2019

NAS-Bench-101：面向可重复的神经网络架构搜索

PDF
TL;DR本文介绍了 NAS-Bench-101，这是第一个公开的神经架构搜索数据集，并描述了它是如何通过在 CIFAR-10 上训练和评估超过 423k 个卷积架构来构建的，旨在帮助研究者在毫秒内查询预计算的数据集来评估各种模型的质量。此外，作者还展示了该数据集作为整体的可用性以及对一系列架构优化算法进行基准测试的实用性。
neural architecture searchnas-bench-101datasetarchitecture optimization algorithmscifar-10
发现论文，激发创造
  • NAS-Bench-NLP: 自然语言处理神经架构搜索基准

    本文的研究内容是基于文本数据集的循环神经网络搜索空间，旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中，研究者在文本数据集上训练了 14k 种循环神经网络结构，并进行了内在和外在的评估，最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。

    Jun, 2020

  • NAS-Bench-201: 扩展可复现神经架构搜索的范围

    提出 NAS-Bench-201，通过设计新的搜索空间和提供多个数据集的结果以及诊断信息，为几乎所有最新的 NAS 算法提供一个统一的基准，从而避免了重复训练，并提高了搜索算法的效率。

    Jan, 2020

  • NAS-Bench-Suite: NAS 评估 (现在) 非常简单

    本文分析了 25 种不同的搜索空间和数据集中流行的 NAS 算法和性能预测方法，发现从少数 NAS 基准得出的许多结论不适用于其他基准。因此，我们推出了 NAS-Bench-Suite，这是一套全面可扩展的 NAS 基准，通过统一接口访问，旨在促进可重现、可推广和快速的 NAS 研究。

    Jan, 2022

  • 使用以前未见的神经架构搜索数据集的洞察

    神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词，该论文介绍了为一系列 NAS 挑战创建的八个数据集，以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。

    Apr, 2024

  • 神经架构搜索基准是否设计良好？深入探讨操作的重要性

    本文通过对 NAS-Benchmark 的分析，证明了通过直接在 NAS-Bench-201，ImageNet16-120 和 TransNAS-Bench-101 上搜索可以产生更可靠的结果，找到了卷积层对体系结构性能的影响，为评估和比较 NAS 方法提供了建议。

    Mar, 2023

  • TransNAS-Bench-101: 改进跨任务神经架构搜索的可转移性和泛化性

    本文提出了 TransNAS-Bench-101，这是一个包含七个视觉任务的基准数据集，旨在鼓励研究跨任务搜索效率和通用性的顶尖神经结构搜索算法，同时提供两种不同类型的搜索空间。

    May, 2021

  • NAS 评估非常困难

    在本文中，我们提出了用于比较 NAS 方法的基准测试，并对常用的 DARTS search space 进行了进一步的实验。我们发现，手工设计的宏观结构比搜索到的微观结构更重要，并且深度间隔是一个真实的现象，最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。

    Dec, 2019

  • Accel-NASBench: 加速器感知的可持续性 NAS 基准测试

    通过寻找训练代理，我们构建了一个开源的双目标神经架构搜索基准测试，用于大规模数据集，并结合了加速器的设备性能，包括 GPU、TPU 和 FPGA。通过与各种 NAS 优化器和硬件平台的广泛实验，我们展示了该基准测试的准确性，并且可以对硬件感知模型进行零成本的研究。

    Apr, 2024

  • 仅需图表？无需训练的轻量级数据不可知神经架构搜索

    通过将神经结构转换为图形并使用平均度量作为代理评估指标，我们的 nasgraph 方法显著降低了训练自动设计的神经网络模型候选的计算成本，实现在 217 CPU 秒内从 NAS-Bench201 的 200 个随机采样架构中找到最佳架构，并在不同数据集上实现有竞争力的性能，包括 NASBench-101、NASBench-201 和 NDS 搜索空间。我们还展示了 nasgraph 在 Micro TransNAS-Bench-101 上可以推广至更具挑战性的任务。

    May, 2024

  • HW-NAS-Bench: 硬件感知神经架构搜索基准

    本研究提出了一个名为 HW-NAS-Bench 的数据集，该数据集包含了网络搜索空间中所有网络的硬件性能表现数据，并对其进行了综合分析。与通用 NAS 相似，硬件感知神经架构搜索（HW-NAS）是一项需要大量计算资源和硬件设备的研究任务。本数据集让硬件不熟悉的研究者也能参与 HW-NAS 研究，并证明专门针对特定设备进行的 HW-NAS 确实可以导致最佳的准确性 - 成本平衡。

    Mar, 2021