该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

Jan, 2021

FLASH 是一种快速的神经架构搜索方法，它在真实硬件平台上协同优化 DNN 的准确性和性能，并且该算法比现有最先进的方法具有超过四个数量级的加速，在嵌入式设备上，搜索时间不到 3 秒。

Aug, 2021

本文提出了一个自动且高效地从预训练的超网络中找到针对不同性能度量和硬件配置进行优化的子网络的综合系统，在多个领域中与现有最先进的超网络训练方法无缝配合，展示了如何将新颖的搜索策略与演化算法相结合，加速 ResNet50、MobileNetV3 和 Transformer 的搜索过程，并展示了比最先进的贝叶斯优化 WeakNAS 方法快 8 倍的搜索结果。

Feb, 2022

本文研究了基于神经架构搜索（NAS）的自动机器学习（AutoML）在计算机视觉以外的任务上的应用，作者提出了一种名为 DASH 的不同 iable NAS 算法，用于搜索卷积神经网络（CNN）的卷积核，实现了在多种应用领域上最先进的自动化性能。

Apr, 2022

设计一种通过有价值的图数据识别重要子架构的联合图数据和架构机制，以搜索轻量级图神经网络 (GNNs) 的最佳架构，提出一种带有图稀疏化和网络修剪的轻量级图神经体系结构搜索 (GASSIP) 方法，并通过两个不可分割的模块优化这些模块来高效搜索最佳轻量级架构。

Jun, 2024

利用神经架构搜索和细粒化技术提出了一个可以在单个层内使用多种异构操作，甚至可以使用多种基本操作生成组合特征映射的框架。该框架可以通过随机梯度下降方法端到端地训练网络，并优化网络的资源利用效率。在大规模图像分类和图像超分辨率等计算机视觉任务中，该框架通过灵活的操作搜索和通道剪枝实现了最先进的性能。

Nov, 2019

多粒度架构搜索（MGAS）是一个统一框架，旨在全面且高效地探索多粒度搜索空间以发现既有效又高效的神经网络，并在模型性能和模型大小之间取得更好的平衡。

Oct, 2023

本文提出了一种环保的神经结构搜索方法，使用梯度代替传统的下游训练来评估结构，探索了梯度核心假设并提出了基于该假设的 KNAS 方法，在图像和文本分类任务中实现了与传统方法相当的结果，但搜索速度更快且具有环保意识。

Nov, 2021

机器学习算法在不断增加的应用中需要在高准确性、高吞吐量和低延迟之间实现更好的权衡。本论文介绍了一种名为 NASH 的新方法，将神经架构搜索应用于机器学习硬件中。通过使用 NASH，硬件设计可以同时达到更高的吞吐量、低延迟和更好的准确性性能。该论文介绍了 NASH 策略的四个版本，所有版本均显示出比原始模型更高的准确性。实验结果表明，在 ImageNet 数据集上，将 NASH 应用于 ResNet18 或 ResNet34 可以使 Top-1 准确性增加最多 3.1%，Top-5 准确性增加最多 2.2%。我们还将这种方法集成到 FINN 硬件模型合成工具中，以自动应用我们的方法和生成硬件模型。结果表明，使用 FINN 可以实现最大达到 324.5 帧每秒的吞吐量。此外，NASH 模型还可以在准确性和硬件资源利用率之间取得更好的权衡。准确性 - 硬件（HW）帕累托曲线显示，四个 NASH 版本的模型代表了在给定硬件利用率的情况下达到最高准确性的最佳权衡。我们的实现代码是开源的，可以在 GitHub 的链接处获得。

Mar, 2024

本文提出了 Gradual One-Level Differentiable Neural Architecture Search (GOLD-NAS) 算法，采用可变资源约束逐步删除超级网络中弱操作器的方法，在标准的图像分类基准测试中发现了一系列 Pareto 最优体系结构。

Jul, 2020