快速硬件感知神经网络结构搜索

Oct, 2019

Fast Hardware-Aware Neural Architecture Search

Li Lyna Zhang, Yuqing Yang, Yuhang Jiang, Wenwu Zhu, Yunxin Liu

TL;DR本文针对神经架构搜索中硬件多样性挑战和在广泛硬件上设计精确有效的卷积神经体系结构领域的挑战，提出了一种基于自动硬件感知搜索的两阶段搜索算法 HURRICANE。在 ImageNet 上的实验结果表明，该算法在相同延迟限制下，优于现有的基于硬件感知神经架构搜索方法，并且发现的架构比当前最先进的高效模型具有更低的延迟和更高的准确性。

Abstract

Designing accurate and efficient convolutional neural architectures for vast amount of hardware is challenging because hardware designs are complex and diverse. This paper addresses the hardware diversity challenge in Neural Architecture Search (NAS). Unlike previous approaches that apply search algorithms on a small, human-designed search space without cons

neural architecture search hardware-aware search convolutional neural networks efficient models imagenet

发现论文，激发创造

硬件感知神经架构搜索的综合调查

该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

Jan, 2021

FLASH：具有硬件优化的快速神经架构搜索

FLASH 是一种快速的神经架构搜索方法，它在真实硬件平台上协同优化 DNN 的准确性和性能，并且该算法比现有最先进的方法具有超过四个数量级的加速，在嵌入式设备上，搜索时间不到 3 秒。

Aug, 2021

HourNAS: 透过沙漏镜头的极速神经架构搜索

我们提出了一种基于沙漏启发式方法的神经架构搜索算法，该算法能通过识别关键块并将其优先考虑，从而快速搜索出网络架构，同时保持准确性，并且在计算资源的限制下，进一步缩小了搜索空间，获得了 77.0％的 Top-1 准确率，超过了最先进的方法。

May, 2020

单路径 NAS：在少于 4 小时内设计硬件高效的 ConvNets

本研究提出了 Single-Path NAS，这是一种新的可微分 NAS 方法，用于在少于 4 小时的时间内设计硬件高效的 ConvNets，并在移动设备下实现最高图像分类准确性。

Apr, 2019

基于可微分神经架构搜索的硬件感知高效卷积神经网络设计：FBNet

通过使用梯度的基础方法优化 ConvNet 结构，避免像以前的方法一样枚举并分别训练个别结构，我们提出了一个可微分的神经结构搜索（DNAS）框架。FBNets 是通过 DNAS 发现的模型族，其在设计和生成自动模型方面均超过手动设计的最新模型，并在移动设备上获得更高的准确性和更低的延迟。

Dec, 2018

S3NAS: 快速 NPU 感知的神经网络架构搜索方法

本文提出了一种快速 NPU 感知的 NAS 方法 S3NAS，通过超网设计、单路径 NAS 和扩展这三步实现在给定延迟限制下寻找具有更高准确性的 CNN 结构，通过该方法，在 3 小时内使用 TPUv3 找到了一种具有 82.72％ Top-1 准确度和 11.66 毫秒延迟的网络。

Sep, 2020

Intel Movidius VPU 的神经架构搜索

本研究将神经网络架构搜索技术扩展到了 Intel Movidius VPU 上，通过两个硬件成本预测方法，能够针对性地优化设计出适应该硬件的网络，实现了高效准确率的分类和超分辨率任务。

May, 2023

SqueezeNAS：用于更快语义分割的快速神经架构搜索

本研究采用无代理的硬件感知搜索方法，针对密集的语义分割任务，实现了特定任务和推理硬件上优化的网络，并在 Cityscapes 语义分割数据集上实现了最先进的网络准确度优化，在 NVIDIA AGX Xavier 上实现了低于 100ms 推理时间的 73.62％的类 mIOU，并与最新的最先进架构进行了详细分析。

Aug, 2019

Single-Path NAS: 设备感知高效的 ConvNet 设计

本文介绍了一种基于 Single-Path NAS 的新型可微分神经架构搜索方法，可以在移动设备延迟限制下设计高效的卷积神经网络，并实现了 Pixel 1 手机上的图像分类，取得了当前最先进的结果。

May, 2019

最佳结合：CNN 及其硬件加速器的 AutoML 协同设计

本研究利用神经网络结构搜索技术，并联合考虑卷积神经网络模型和硬件加速器的参数，实现自动化的硬件 - 卷积神经网络代码设计。此方法能有效提高分类精度和效率，显著优于现有设计，本研究着重于在代码设计空间中进行多目标优化问题的定义以及探索使用强化学习的搜索策略，使得在 1000 个 GPU 小时内，相比于 ResNet 在优化硬件加速器情况下在 CIFAR-100 分类准确率上提高了 1.3％，同时提高了 41％的性能 / 面积比。

Feb, 2020