本文探讨了一种新的神经架构搜索度量方式，发现损失曲面的平整度可以预测神经网络架构的泛化能力，通过在不同的搜索空间进行评估，提出的方法相对于现有的 NAS 方法表现更好，并且在数据分布偏移以及目标检测或语义分割等任务中具有稳健的泛化能力。

May, 2023

利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

Feb, 2021

本文提出了一种名为 “Generic NAS” 的通用 NAS 框架，该框架采用自监督回归任务来评估架构的内在能力，并且在 13 个 CNN 搜索空间和一个 NLP 空间上进行了广泛的实验，展示了 GenNAS 的显着高效性（通过 Spearman 的 rho 度量的排名相关性和训练的收敛速度都得到了提升），并回答了两个与 NAS 相关的基本问题。

Aug, 2021

本文介绍了一种结合了 Tensor Compilation 和 Neural Architecture Search 的新方法，称为 Kernel Architecture Search (KAS)，以生成高性能和高准确性的神经内核。作者设计并展示了一个名为 Canvas 的端到端框架，用于发现高质量的卷积替代内核，实现了平均 1.5 倍的加速，并且验证了 KAS 的实用性。

Apr, 2023

本研究从贝叶斯角度出发，提出了一种后验引导的神经结构搜索方法（PGNAS），通过估计网络结构和权重的联合后验分布，减少数据采样与超参数调整，并在图像分类任务上进行验证，证明了 PGNAS 较其它方法在搜索精度与速度方面具有良好的平衡。

Jun, 2019

本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

Jul, 2020

本文探讨神经结构搜索 (NAS) 的计算图模型，提出了一种利用图神经网络的深度生成模型 (GraphPNAS)，通过学习表现良好的神经结构的分布来比单纯的搜索最佳结构更高效。作者使用 RandWire，ENAS 和 NAS-Bench-101/201 的三个搜索空间对 GraphPNAS 进行了广泛的实验，并且结合强化学习方法生成高质量的神经结构，结果表明其优于传统的基于 RNN 的神经结构生成器及随机搜索方法，并且取得了与当前最先进的 NAS 方法相当甚至更好的性能表现。

Nov, 2022

提出了随机神经架构搜索 (SNAS)，作为一种经济高效的神经架构搜索方案，它在同一次反向传播中训练神经操作参数和架构分布参数，同时保持 NAS 管道的完整性和可区分性。通过对单元搜索空间的联合分布的参数进行优化来重构 NAS，提出一种全新的搜索梯度，优化效果比基于强化学习的 NAS 更高，同时加入局部可分解奖励，以强制实施资源有效约束，最终在 CIFAR-10 数据集上得到了业界领先的准确性。

Dec, 2018

该研究提出了一种基于元卷积核的高效神经架构搜索策略，通过直接编码超级网络来缩小多个卷积核选项，从而在减少中间特征存储内存和资源预算的同时，实现更精细的搜索。该方法在 ImageNet 基准数据集上以 357M FLOPs 为限制可达到 77.0% 的 top-1 准确率，超过了 EfficientNet 和 MobileNetV3，并且与最先进的 NAS 方法相比，在相同的计算预算下速度还快了三个数量级。

Dec, 2019

利用神经架构搜索和细粒化技术提出了一个可以在单个层内使用多种异构操作，甚至可以使用多种基本操作生成组合特征映射的框架。该框架可以通过随机梯度下降方法端到端地训练网络，并优化网络的资源利用效率。在大规模图像分类和图像超分辨率等计算机视觉任务中，该框架通过灵活的操作搜索和通道剪枝实现了最先进的性能。

Nov, 2019