TG-NAS 是一种基于模型的通用代理，利用基于 Transformer 的操作符嵌入生成器和图卷积网络 (GCN) 来预测架构性能，通过对各种 NAS 基准测试进行实验证明了其在搜索效率方面的优势，表明其作为高效架构搜索的基础组成部分的潜力。TG-NAS 与先前的零成本 (ZC) 代理方法相比，搜索效率提高了多达 300 倍，特别地，在 NAS-Bench-201 空间上发现具有 93.75% CIFAR-10 准确度的竞争模型，并在 DARTS 空间上达到了 74.5% 的 ImageNet top-1 准确度。

Mar, 2024

本文采用经典的贝叶斯学习方法，利用分层自动相关决策（HARD）先验对架构参数进行建模以缓解一次 NAS 方法中存在的两个问题，并成功利用 CIFAR-10 数据集在 0.2 GPU 天内找到了精确的架构，同时通过提供结构稀疏性实现了分类精度极高且极度稀疏的卷积神经网络压缩。

May, 2019

本文全面回顾和比较最新的零样本神经架构搜索方法，重点在于它们的硬件感知能力。作者首先回顾了主流的零样本代理，并比较了这些零样本代理，在大规模实验中证明了它们在硬件感知和硬件无关的 NAS 场景中的有效性，并指出了设计更好代理的几个有前途的想法。

Jul, 2023

本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

Jul, 2020

通过使用图神经网络作为性能预测器，将神经架构转化为向量表示，并使用定制训练损失来提高预测准确性。在多个基准数据集上进行的实验结果表明，与其他图神经网络预测器相比，预测准确性显著提高，Kendall-tau 相关性增加了 3% 至 16%。

Apr, 2024

本文提出了一种基于零成本代理的搜索空间无关神经网络编码方法，以实现对多个任务、搜索空间和硬件设备的准确性和延迟预测进行多任务、多搜索空间和多硬件的自适应，从而在提高端到端样本效率方面取得了显著的效果。

Jun, 2023

利用预测器进行神经结构搜索（NAS）优化的方法大大提高了其有效性，本文对神经网络架构的编码方法进行了分类和研究，包括结构编码、学习编码和基于分数的编码，并引入了统一编码方法，进一步扩展了 NAS 预测器的应用范围。此研究基于在 NASBench-101（NB101）、NB201、NB301、Network Design Spaces（NDS）和 TransNASBench-101 等 NAS 领域超过 150 万个神经网络架构进行的实验证明，我们提出的预测器 FLAN（流动关注）通过融合预测器设计、迁移学习和统一编码，在训练 NAS 准确性预测器时能大幅度降低成本。所有神经网络的实现和编码方式均已在 https://github.com/abdelfattah-lab/flan_nas 开源。

Mar, 2024

FOX-NAS 提出了一种基于模拟退火和多元回归的快速可解释性的预测方法，能较高效地量化并在边缘部署，实验结果显示 FOX-NAS 模型的性能优于其他流行的神经网络架构，获得了 2020 年低功耗计算机视觉挑战赛 (DSP 分类) 第三名。

Aug, 2021

本文提出了一种用稀疏编码目标寻找参数的神经架构编码（NAC）方法，用于 NAS-GNNs，无需更新可在线性时间内高效计算，多个基准测试集上实验结果表明相比强基准线方法提高了 18.8% 的性能且速度快了最高 200 倍。

May, 2023

本文提出一种迭代学习方法，旨在解决神经架构搜索中的元学习问题。该方法使用参数共享思想，利用代理模型来减少 NAS 运行时间，并在 DARTs 搜索空间和 NAS-Bench-201 上验证了其可行性。此外，作者还提供了理论分析及脱敏研究以进一步深入了解其技术。

Jun, 2019