KDDJul, 2019

单路径移动端自动机器学习：高效的卷积神经网络设计和 NAS 超参数优化

PDF
TL;DR本研究提出了一种新的 differentiable NAS 公式，名为 Single-Path NAS，将所有建筑决策编码为共享卷积核参数的一个单路径超参数卷积神经网络，大大降低了搜索过程的开销，并在移动延迟限制下实现了最新的图像分类结果。在不到 3 小时的时间内将 NAS 搜索成本降低到 8 个时期（24TPU 小时），比以前的工作快了多达 5,000 倍。
发现论文，激发创造
  • 单路径 NAS：在少于 4 小时内设计硬件高效的 ConvNets

    本研究提出了 Single-Path NAS，这是一种新的可微分 NAS 方法，用于在少于 4 小时的时间内设计硬件高效的 ConvNets，并在移动设备下实现最高图像分类准确性。

    Apr, 2019

  • Single-Path NAS: 设备感知高效的 ConvNet 设计

    本文介绍了一种基于 Single-Path NAS 的新型可微分神经架构搜索方法，可以在移动设备延迟限制下设计高效的卷积神经网络，并实现了 Pixel 1 手机上的图像分类，取得了当前最先进的结果。

    May, 2019

  • S3NAS: 快速 NPU 感知的神经网络架构搜索方法

    本文提出了一种快速 NPU 感知的 NAS 方法 S3NAS，通过超网设计、单路径 NAS 和扩展这三步实现在给定延迟限制下寻找具有更高准确性的 CNN 结构，通过该方法，在 3 小时内使用 TPUv3 找到了一种具有 82.72％ Top-1 准确度和 11.66 毫秒延迟的网络。

    Sep, 2020

  • 多样任务有效的架构搜索

    本文研究了基于神经架构搜索（NAS）的自动机器学习（AutoML）在计算机视觉以外的任务上的应用，作者提出了一种名为 DASH 的不同 iable NAS 算法，用于搜索卷积神经网络（CNN）的卷积核，实现了在多种应用领域上最先进的自动化性能。

    Apr, 2022

  • MnasNet：面向移动端平台感知的神经结构搜索

    本文提出了一种自动化的移动神经结构搜索（MNAS）方法，该方法将模型延迟明确地纳入主要目标，以便搜索可以识别满足准确性和延迟之间良好平衡的模型， 实验结果表明，该方法在多个视觉任务中始终优于现有的移动卷积神经网络模型，并且实现了更好的 mAP 质量。

    Jul, 2018

  • 四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

    利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

    Feb, 2021

  • 基于元学习内核的高效可微分神经架构搜索

    该研究提出了一种基于元卷积核的高效神经架构搜索策略，通过直接编码超级网络来缩小多个卷积核选项，从而在减少中间特征存储内存和资源预算的同时，实现更精细的搜索。该方法在 ImageNet 基准数据集上以 357M FLOPs 为限制可达到 77.0% 的 top-1 准确率，超过了 EfficientNet 和 MobileNetV3，并且与最先进的 NAS 方法相比，在相同的计算预算下速度还快了三个数量级。

    Dec, 2019

  • 单路径统一采样一次性神经网络结构搜索

    本文介绍了一种使用简化的超网络进行单路径神经架构搜索的方法，该方法易于训练、快速搜索、灵活支持不同的搜索约束，并在大规模数据集 ImageNet 上实现了最先进的性能。

    Mar, 2019

  • ProxylessNAS：无代理神经架构搜索（NAS）技术在目标任务和硬件上的应用

    本篇论文提出了 ProxylessNAS 方法，它能够在大规模的目标任务和硬件平台上直接学习网络结构，缩减计算成本并提供了一种高效的 CNN 网络结构设计方法。实验结果表明，ProxylessNAS 可以在 CIFAR-10 和 ImageNet 数据集上超越以前的最优架构，并提供了硬件性能的定制化。

    Dec, 2018

  • SqueezeNAS：用于更快语义分割的快速神经架构搜索

    本研究采用无代理的硬件感知搜索方法，针对密集的语义分割任务，实现了特定任务和推理硬件上优化的网络，并在 Cityscapes 语义分割数据集上实现了最先进的网络准确度优化，在 NVIDIA AGX Xavier 上实现了低于 100ms 推理时间的 73.62％的类 mIOU，并与最新的最先进架构进行了详细分析。

    Aug, 2019