本文对神经网络结构自动设计的算法——神经架构搜索进行了全面的综述与研究，提出了对早期算法的问题的总结和解决方案，并对这些工作进行了详细的比较和总结。文章最后给出了可能的未来研究方向。

Jun, 2020

本文提出了一个统一的基准模型NATS-Bench用于Neural architecture search领域中的拓扑结构与模型大小寻优，该模型具有可比性且可以更加节省计算成本，为研究者提供了更广阔的发展空间。

Aug, 2020

本文提出了一种快速 NPU 感知的 NAS 方法 S3NAS，通过超网设计、单路径 NAS 和扩展这三步实现在给定延迟限制下寻找具有更高准确性的 CNN 结构，通过该方法，在 3 小时内使用 TPUv3 找到了一种具有 82.72％ Top-1 准确度和 11.66 毫秒延迟的网络。

Sep, 2020

提出了一种自适应于分布熵的采样方法，从而实现快速的多元空间神经体系结构搜索，成为FP-NAS。通过FP-NAS，可以使搜索空间变得更大、更深、更准确，速度比其他方法快2.1倍-3.5倍，并且可以直接搜索高达1.0G FLOPS的大模型，在数字图像分类方面表现出色。

Nov, 2020

该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

Jan, 2021

利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在CIFAR-10和ImageNet上只花费0.5和4 GPU小时完成的高质量搜索。

Feb, 2021

本文提出NetAdaptV2，通过三项创新工作平衡各个步骤的时间并支持非可微分搜索指标，进而加速神经结构搜索并提高神经网络性能。

Mar, 2021

本文提出了一个自动且高效地从预训练的超网络中找到针对不同性能度量和硬件配置进行优化的子网络的综合系统，在多个领域中与现有最先进的超网络训练方法无缝配合，展示了如何将新颖的搜索策略与演化算法相结合，加速ResNet50、MobileNetV3和Transformer的搜索过程，并展示了比最先进的贝叶斯优化WeakNAS方法快8倍的搜索结果。

Feb, 2022

本文提出了一种新的硬件感知神经结构搜索框架，旨在优化目标平台上的任务精度、推理延迟和资源利用。通过使用该框架和新的资源利用模型，我们在CIFAR-10和Imagenet-100数据集上实现了 2.8-4倍的DNN推理加速，并获得了与以往硬件感知神经结构搜索方法相似或更好的图像分类精度。

Mar, 2022

本文通过对NAS-Benchmark的分析，证明了通过直接在NAS-Bench-201，ImageNet16-120和TransNAS-Bench-101上搜索可以产生更可靠的结果，找到了卷积层对体系结构性能的影响，为评估和比较NAS方法提供了建议。

Mar, 2023