NAS-Bench-201: 扩展可复现神经架构搜索的范围
本文介绍了 NAS-Bench-101,这是第一个公开的神经架构搜索数据集,并描述了它是如何通过在 CIFAR-10 上训练和评估超过 423k 个卷积架构来构建的,旨在帮助研究者在毫秒内查询预计算的数据集来评估各种模型的质量。此外,作者还展示了该数据集作为整体的可用性以及对一系列架构优化算法进行基准测试的实用性。
Feb, 2019
本文的研究内容是基于文本数据集的循环神经网络搜索空间,旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中,研究者在文本数据集上训练了 14k 种循环神经网络结构,并进行了内在和外在的评估,最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。
Jun, 2020
本文通过对 NAS-Benchmark 的分析,证明了通过直接在 NAS-Bench-201,ImageNet16-120 和 TransNAS-Bench-101 上搜索可以产生更可靠的结果,找到了卷积层对体系结构性能的影响,为评估和比较 NAS 方法提供了建议。
Mar, 2023
本文分析了 25 种不同的搜索空间和数据集中流行的 NAS 算法和性能预测方法,发现从少数 NAS 基准得出的许多结论不适用于其他基准。因此,我们推出了 NAS-Bench-Suite,这是一套全面可扩展的 NAS 基准,通过统一接口访问,旨在促进可重现、可推广和快速的 NAS 研究。
Jan, 2022
在本文中,我们提出了用于比较 NAS 方法的基准测试,并对常用的 DARTS search space 进行了进一步的实验。我们发现,手工设计的宏观结构比搜索到的微观结构更重要,并且深度间隔是一个真实的现象,最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。
Dec, 2019
本文提出了 TransNAS-Bench-101,这是一个包含七个视觉任务的基准数据集,旨在鼓励研究跨任务搜索效率和通用性的顶尖神经结构搜索算法,同时提供两种不同类型的搜索空间。
May, 2021
本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题,同时提出了一种新的、层次化和基于图形的搜索空间,实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略,该方法有效地扩展了有效架构的范围,促进了多目标学习方法的发展, 并在六个基准数据集上进行了验证,在生成轻量级且高度竞争的模型方面表现出了有效性。
Apr, 2020
神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词,该论文介绍了为一系列 NAS 挑战创建的八个数据集,以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。
Apr, 2024
本文提出了一个统一的基准模型 NATS-Bench 用于 Neural architecture search 领域中的拓扑结构与模型大小寻优,该模型具有可比性且可以更加节省计算成本,为研究者提供了更广阔的发展空间。
Aug, 2020
本文介绍了一种基于随机搜索和超参数优化的神经架构搜索方法,并探讨了该领域中已有的研究成果的可重复性问题。研究结果表明,该方法在两个标准的 NAS 基准测试中表现出色,并且可以复现。
Feb, 2019