ICLRDec, 2018

ProxylessNAS：无代理神经架构搜索（NAS）技术在目标任务和硬件上的应用

PDF
TL;DR本篇论文提出了 ProxylessNAS 方法，它能够在大规模的目标任务和硬件平台上直接学习网络结构，缩减计算成本并提供了一种高效的 CNN 网络结构设计方法。实验结果表明，ProxylessNAS 可以在 CIFAR-10 和 ImageNet 数据集上超越以前的最优架构，并提供了硬件性能的定制化。
neural architecture searchdifferentiable nasproxylessnaslarge-scale target tasksefficient cnn architecture design
发现论文，激发创造
  • SqueezeNAS：用于更快语义分割的快速神经架构搜索

    本研究采用无代理的硬件感知搜索方法，针对密集的语义分割任务，实现了特定任务和推理硬件上优化的网络，并在 Cityscapes 语义分割数据集上实现了最先进的网络准确度优化，在 NVIDIA AGX Xavier 上实现了低于 100ms 推理时间的 73.62％的类 mIOU，并与最新的最先进架构进行了详细分析。

    Aug, 2019

  • 一台代理设备足矣：面向硬件的神经架构搜索

    本文提出一种基于延迟单调性的硬件感知神经架构搜索方法，通过利用搜索的代理设备在新设备上的可重用性和代理适应技术显著提高了单调性，仅使用一个代理设备即可找到接近 Pareto 最优架构，避免了为每个设备构建延迟预测器的高昂成本。

    Nov, 2021

  • 高效神经网络搜索的可扩展代理

    该研究提出了一个使用自监督少样本训练的可扩展代理 (Eproxy) 和离散代理搜索 (DPS) 方法，以解决神经架构搜索 (NAS) 中的计算问题和多模态下游任务的问题。通过使用不可训练的卷积层，Eproxy 中的非线性优化空间可以区分体系结构在早期阶段的性能，同时实现对不同任务 / 搜索空间的适应性。DPS 方法具有仅通过少量基准体系结构便可在目标任务上找到 Eproxy 的最优训练设置的优点。

    Oct, 2022

  • 针对多样性扰动的鲁棒 NAS 通用轻量级代理

    在这篇文章中，我们提出了一种新颖的轻量级鲁棒性零成本代理，该代理考虑了初始化状态下干净和扰动图像的特征、参数和梯度的一致性，从而实现了能够学习在多种扰动情况下显示出鲁棒性的神经结构的高效快速搜索。 针对多个基准数据集和不同搜索空间，我们的代理能够快速有效地搜索出一致鲁棒的神经结构，大大优于现有的基于清晰无注入 NAS 和基于注入 NAS 减少的搜索成本。

    Jun, 2023

  • 四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

    利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

    Feb, 2021

  • 通过代理数据加速神经架构搜索

    通过使用代理数据，提出了一种新的代理数据选择方法，可以在不牺牲搜索性能的情况下减少神经架构搜索的计算成本。经过对各种选择方法构建的代理数据的熵分析，该方法可显著降低搜索成本并发现具有竞争力的架构。

    Jun, 2021

  • DSNAS: 无需参数微调的直接神经结构搜索

    通过提出基于任务的端到端的 NAS 方法定义，我们提出了 DSNAS，一个高效的可微分 NAS 框架，不仅可以同时优化架构和参数，而且还可以减少模型训练时间，并在 ImageNet 数据集上达到了与现有方法同等的准确率。

    Feb, 2020

  • EcoNAS: 寻找经济神经架构搜索的代理

    本研究通过研究现有的代理方法中排名稳定性的差异，提出了一种可靠的代理策略和层次化代理策略，在保持搜索质量的同时缩减了 400 倍的搜索时间，并且这些新的代理方法也可以应用于其他神经结构搜索算法中。

    Jan, 2020

  • TG-NAS: 使用 Transformer 和图卷积网络利用零成本的代理进行高效神经架构搜索

    TG-NAS 是一种基于模型的通用代理，利用基于 Transformer 的操作符嵌入生成器和图卷积网络 (GCN) 来预测架构性能，通过对各种 NAS 基准测试进行实验证明了其在搜索效率方面的优势，表明其作为高效架构搜索的基础组成部分的潜力。TG-NAS 与先前的零成本 (ZC) 代理方法相比，搜索效率提高了多达 300 倍，特别地，在 NAS-Bench-201 空间上发现具有 93.75% CIFAR-10 准确度的竞争模型，并在 DARTS 空间上达到了 74.5% 的 ImageNet top-1 准确度。

    Mar, 2024

  • Single-Path NAS: 设备感知高效的 ConvNet 设计

    本文介绍了一种基于 Single-Path NAS 的新型可微分神经架构搜索方法，可以在移动设备延迟限制下设计高效的卷积神经网络，并实现了 Pixel 1 手机上的图像分类，取得了当前最先进的结果。

    May, 2019