Nov, 2023

NAS 基准测试中隐藏了多少内容？NAS 预测器的少样本适应

PDF
TL;DR通过研究公开可用的神经结构搜索基准，我们借鉴元学习的丰富领域，关注任务级相关性和预测器可迁移性的关系，并实验证明我们的元学习方法不仅在交叉验证实验中表现出卓越（或匹配）性能，还成功地在新的搜索空间和任务中展开了推广。
neural architecture searchcomputational overheadnas benchmarksmeta-learningtask-level correlation
发现论文，激发创造
  • NAS-Bench-1Shot1: 一次性神经架构搜索的基准测试和解剖

    本文提出了一个通用框架，用于一次性神经架构搜索，并引入了一个基于最近推出的大规模表格基准 NAS-Bench-101 的基准测试框架，以评估一次性 NAS 方法的廉价性能，并比较了几种最先进的一次性 NAS 方法，检查它们对超参数的敏感性，以及如何通过调整它们的超参数来改进它们的性能，并将它们的性能与 NAS-Bench-101 的黑盒优化器进行比较。

    Jan, 2020

  • NAS-Bench-Suite: NAS 评估 (现在) 非常简单

    本文分析了 25 种不同的搜索空间和数据集中流行的 NAS 算法和性能预测方法，发现从少数 NAS 基准得出的许多结论不适用于其他基准。因此，我们推出了 NAS-Bench-Suite，这是一套全面可扩展的 NAS 基准，通过统一接口访问，旨在促进可重现、可推广和快速的 NAS 研究。

    Jan, 2022

  • Few-Shot 学习的神经架构元学习

    MetaNAS 是第一个将 NAS 与基于梯度的元学习完全集成的方法，可以在少量数据和计算资源的情况下适应新任务，并在少样本分类基准测试中获得最先进的结果。

    Nov, 2019

  • NAS-Bench-NLP: 自然语言处理神经架构搜索基准

    本文的研究内容是基于文本数据集的循环神经网络搜索空间，旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中，研究者在文本数据集上训练了 14k 种循环神经网络结构，并进行了内在和外在的评估，最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。

    Jun, 2020

  • TransNAS-Bench-101: 改进跨任务神经架构搜索的可转移性和泛化性

    本文提出了 TransNAS-Bench-101，这是一个包含七个视觉任务的基准数据集，旨在鼓励研究跨任务搜索效率和通用性的顶尖神经结构搜索算法，同时提供两种不同类型的搜索空间。

    May, 2021

  • 弱预测器强化 NAS

    本研究提出了一种名为 WeakNAS 的方法，使用一连串较弱的预测器，以逐步精细搜索到高性能神经网络结构子空间，与现有技术相比，仅使用更少样本就可发现全局最优结构。

    Feb, 2021

  • 神经架构搜索基准是否设计良好？深入探讨操作的重要性

    本文通过对 NAS-Benchmark 的分析，证明了通过直接在 NAS-Bench-201，ImageNet16-120 和 TransNAS-Bench-101 上搜索可以产生更可靠的结果，找到了卷积层对体系结构性能的影响，为评估和比较 NAS 方法提供了建议。

    Mar, 2023

  • 神经微调搜索用于少样本学习

    本研究从神经结构搜索的角度探讨了在 few-shot 识别中如何设计最优的适应策略，包括适配器的排列方式、哪些层保持冻结、哪些层进行微调等，并在 Meta-Dataset 和 Meta-Album 上展示了技术的普适性和最新的性能。

    Jun, 2023

  • NAS-Bench-101：面向可重复的神经网络架构搜索

    本文介绍了 NAS-Bench-101，这是第一个公开的神经架构搜索数据集，并描述了它是如何通过在 CIFAR-10 上训练和评估超过 423k 个卷积架构来构建的，旨在帮助研究者在毫秒内查询预计算的数据集来评估各种模型的质量。此外，作者还展示了该数据集作为整体的可用性以及对一系列架构优化算法进行基准测试的实用性。

    Feb, 2019

  • NAS 评估非常困难

    在本文中，我们提出了用于比较 NAS 方法的基准测试，并对常用的 DARTS search space 进行了进一步的实验。我们发现，手工设计的宏观结构比搜索到的微观结构更重要，并且深度间隔是一个真实的现象，最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。

    Dec, 2019