S3NAS: 快速 NPU 感知的神经网络架构搜索方法

Sep, 2020

S3NAS: 快速 NPU 感知的神经网络架构搜索方法

S3NAS: Fast NPU-aware Neural Architecture Search Methodology

Jaeseong Lee, Duseok Kang, Soonhoi Ha

TL;DR本文提出了一种快速 NPU 感知的 NAS 方法 S3NAS，通过超网设计、单路径 NAS 和扩展这三步实现在给定延迟限制下寻找具有更高准确性的 CNN 结构，通过该方法，在 3 小时内使用 TPUv3 找到了一种具有 82.72％ Top-1 准确度和 11.66 毫秒延迟的网络。

Abstract

As the application area of convolutional neural networks (CNN) is growing in embedded devices, it becomes popular to use a hardware CNN accelerator, called neural processing unit (NPU), to achieve higher performa

convolutional neural networks neural processing unit automated neural architecture search image classification latency constraint

发现论文，激发创造

Single-Path NAS: 设备感知高效的 ConvNet 设计

本文介绍了一种基于 Single-Path NAS 的新型可微分神经架构搜索方法，可以在移动设备延迟限制下设计高效的卷积神经网络，并实现了 Pixel 1 手机上的图像分类，取得了当前最先进的结果。

May, 2019

SqueezeNAS：用于更快语义分割的快速神经架构搜索

本研究采用无代理的硬件感知搜索方法，针对密集的语义分割任务，实现了特定任务和推理硬件上优化的网络，并在 Cityscapes 语义分割数据集上实现了最先进的网络准确度优化，在 NVIDIA AGX Xavier 上实现了低于 100ms 推理时间的 73.62％的类 mIOU，并与最新的最先进架构进行了详细分析。

Aug, 2019

单路径移动端自动机器学习：高效的卷积神经网络设计和 NAS 超参数优化

本研究提出了一种新的 differentiable NAS 公式，名为 Single-Path NAS，将所有建筑决策编码为共享卷积核参数的一个单路径超参数卷积神经网络，大大降低了搜索过程的开销，并在移动延迟限制下实现了最新的图像分类结果。在不到 3 小时的时间内将 NAS 搜索成本降低到 8 个时期（24TPU 小时），比以前的工作快了多达 5,000 倍。

Jul, 2019

单路径 NAS：在少于 4 小时内设计硬件高效的 ConvNets

本研究提出了 Single-Path NAS，这是一种新的可微分 NAS 方法，用于在少于 4 小时的时间内设计硬件高效的 ConvNets，并在移动设备下实现最高图像分类准确性。

Apr, 2019

MnasNet：面向移动端平台感知的神经结构搜索

本文提出了一种自动化的移动神经结构搜索（MNAS）方法，该方法将模型延迟明确地纳入主要目标，以便搜索可以识别满足准确性和延迟之间良好平衡的模型，实验结果表明，该方法在多个视觉任务中始终优于现有的移动卷积神经网络模型，并且实现了更好的 mAP 质量。

Jul, 2018

通过生成搜索：具有架构生成器的灵活高效的一次性 NAS

提出一种名为 SGNAS 的一次搜索神经结构的框架，使用生成器生成子网络以更加高效和灵活地进行搜索，同时还提出了一种名为统一超网络的新单路径超网络以进一步提高搜索效率和减少 GPU 内存消耗，在 ImageNet 数据集上仅用 5 个 GPU 小时完成 $N$ 个不同硬件限制下的搜索，准确率达 77.1%。

Mar, 2021

四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角

利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

Feb, 2021

硬件感知神经架构搜索的综合调查

该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

Jan, 2021

HQNAS: 联合量化和架构搜索的自动 CNN 部署框架

提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

Oct, 2022

GPUNet：基于 GPU 的可部署卷积神经网络搜索

该论文介绍了一种使用神经架构搜索技术快速定制卷积神经网络模型的方法。该方法构建了一个分布式的神经架构搜索系统，探索一个新的潜在搜索空间，并提出了一种使用 GPU 进行目标推理的优化模型 GPUNet，其推理速度可达 1ms，比现有模型具有更快的速度和更好的准确率，在不同任务和场景中都具有广泛的适应性。

Apr, 2022