ICLRJul, 2021

通过从数据集学习生成图形实现快速神经架构搜索

PDF
TL;DR本文提出了一种高效的神经架构搜索（Neural Architecture Search, NAS）框架，基于元学习的跨模态潜空间，结合预训练的网络库和数据库，可以快速地为新数据集搜索神经架构，并且还提出了一种元性能预测器来从多个未见数据集中预估和选择最佳的神经架构。实验结果表明，该模型受过 ImageNet-1K 的元学习并结合 NAS-Bench 201 搜索空间的神经架构，在包括 CIFAR-10 和 CIFAR-100 等多个未见数据集上成功泛化，平均搜索时间为 33 GPU 秒，即使在 MobileNetV3 搜索空间下，它比具有相似性能的可转移 NAS 方法 NSGANetV2 快 5.5K 倍。我们认为这为快速 NAS 和利用累积多年的数据集和架构的知识提出了新的研究方向。
neural architecture searchmeta-learningefficient nas frameworkmulti-task generalizationperformance predictor
发现论文，激发创造
  • 元架构搜索

    本文提出了基于贝叶斯元学习的 (Meta Architecture Search) 方法，用于加速大量任务的体系结构搜索，通过学习适用于整个任务集的任务不可知表达式，实现对 NAS 的大规模高效搜索，减少计算成本，并在 Imagenet 分类任务中发现了与目前使用更少显卡宽带的超参搜索算法相当的结果

    Dec, 2018

  • DSNAS: 无需参数微调的直接神经结构搜索

    通过提出基于任务的端到端的 NAS 方法定义，我们提出了 DSNAS，一个高效的可微分 NAS 框架，不仅可以同时优化架构和参数，而且还可以减少模型训练时间，并在 ImageNet 数据集上达到了与现有方法同等的准确率。

    Feb, 2020

  • 仅需图表？无需训练的轻量级数据不可知神经架构搜索

    通过将神经结构转换为图形并使用平均度量作为代理评估指标，我们的 nasgraph 方法显著降低了训练自动设计的神经网络模型候选的计算成本，实现在 217 CPU 秒内从 NAS-Bench201 的 200 个随机采样架构中找到最佳架构，并在不同数据集上实现有竞争力的性能，包括 NASBench-101、NASBench-201 和 NDS 搜索空间。我们还展示了 nasgraph 在 Micro TransNAS-Bench-101 上可以推广至更具挑战性的任务。

    May, 2024

  • 使用以前未见的神经架构搜索数据集的洞察

    神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词，该论文介绍了为一系列 NAS 挑战创建的八个数据集，以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。

    Apr, 2024

  • 面向未知数据集的蒸馏感知神经架构搜索元预测模型

    提出了一种预测学生模型在教师模型下蒸馏的表现的元学习模型（DaSS），它能够推广到多个未见过的数据集以实现 DaNAS 任务的更高效性和准确性。

    May, 2023

  • Few-Shot 学习的神经架构元学习

    MetaNAS 是第一个将 NAS 与基于梯度的元学习完全集成的方法，可以在少量数据和计算资源的情况下适应新任务，并在少样本分类基准测试中获得最先进的结果。

    Nov, 2019

  • DCNAS：用于语义图像分割的密集连接神经架构搜索

    本研究提出一种名为 Densely Connected NAS (DCNAS) 的神经架构搜索框架，通过连接细胞并使用可学习的权重来引入密集连接的搜索空间，并通过路径和通道级别的抽样策略设计一个融合模块来降低搜索空间的内存消耗。DCNAS 搜索算法得到的体系结构在公共语义图像分割基准测试中的表现显著优于先前算法。

    Mar, 2020

  • 在四个 GPU 小时内寻找强韧的神经网络结构

    通过可微分采样器实现基于梯度下降的神经结构搜索方法，旨在在 CIFAR-10 数据集上提升搜索效率并获取与最新技术水平持平的测试准确率。

    Oct, 2019

  • 神经架构迁移

    本文介绍了一种基于神经架构搜索（NAS）的新方法，称为神经架构传递（NAT），该方法可将已训练的超网络集成到在线迁移学习和多目标进化搜索流程中，以快速生成适用于多个应用场景的任务特定定制模型，并在 11 项基准图像分类任务中证明了其有效性。

    May, 2020

  • 四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

    利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

    Feb, 2021