本研究分析了常见的零成本代理在 NAS-Bench-201 搜索空间中作为鲁棒性性能预测器的能力，发现预测鲁棒性使得现有的零成本代理预测任务更具挑战性，需要联合考虑多个代理才能预测模型的鲁棒性。

Jul, 2023

本篇论文提出了 ProxylessNAS 方法，它能够在大规模的目标任务和硬件平台上直接学习网络结构，缩减计算成本并提供了一种高效的 CNN 网络结构设计方法。实验结果表明，ProxylessNAS 可以在 CIFAR-10 和 ImageNet 数据集上超越以前的最优架构，并提供了硬件性能的定制化。

Dec, 2018

该研究提出了一个使用自监督少样本训练的可扩展代理 (Eproxy) 和离散代理搜索 (DPS) 方法，以解决神经架构搜索 (NAS) 中的计算问题和多模态下游任务的问题。通过使用不可训练的卷积层，Eproxy 中的非线性优化空间可以区分体系结构在早期阶段的性能，同时实现对不同任务 / 搜索空间的适应性。DPS 方法具有仅通过少量基准体系结构便可在目标任务上找到 Eproxy 的最优训练设置的优点。

Oct, 2022

AZ-NAS 是一种新方法，它利用多种零成本代理的集成，显著增强了网络预测排名与性能的真实排名之间的相关性，并引入了一种非线性排名聚合方法，同时在保持合理运行时间成本的基础上，在标准基准测试中优于现有方法。

Mar, 2024

TG-NAS 是一种基于模型的通用代理，利用基于 Transformer 的操作符嵌入生成器和图卷积网络 (GCN) 来预测架构性能，通过对各种 NAS 基准测试进行实验证明了其在搜索效率方面的优势，表明其作为高效架构搜索的基础组成部分的潜力。TG-NAS 与先前的零成本 (ZC) 代理方法相比，搜索效率提高了多达 300 倍，特别地，在 NAS-Bench-201 空间上发现具有 93.75% CIFAR-10 准确度的竞争模型，并在 DARTS 空间上达到了 74.5% 的 ImageNet top-1 准确度。

Mar, 2024

最近神经网络架构搜索 (NAS) 的发展强调考虑恶意数据下的鲁棒性架构的重要性，然而，在搜索这些鲁棒性架构时，尤其是在考虑对抗训练时，缺乏显著的基准评估和理论保证。本文旨在解决这两个挑战，做出了双重贡献：首先，我们发布了一个综合数据集，该数据集包含来自 NAS-Bench-201 搜索空间在图像数据集上经过对抗训练的网络的干净准确度和鲁棒准确度；其次，利用深度学习理论中的神经切线核 (NTK) 工具，我们建立了一个关于在干净准确度和鲁棒准确度下搜索架构的泛化理论，该理论适用于多目标对抗训练。我们坚信，我们的基准和理论见解将对 NAS 社区产生重大影响，通过可靠的再现性、高效的评估和理论基础，特别是在追求鲁棒架构方面。

Mar, 2024

该研究提出了一种与训练集准确度高度相关的零成本度量标准 epsilon，使用零成本代理来加速神经架构搜索，省去了计算负载和梯度计算、标签、损失度量等依赖于人工标注数据的环节。

Feb, 2023

本文研究了神经网络模型设计中的计算问题，提出使用零成本代理来提高搜索效率和减少计算成本，实验结果表明新的代理方法比传统方法更加有效。

Jan, 2021

本研究提出一种名为 Robust Neural Architecture Search 的新型神经架构搜索方法，使用正则化项来平衡准确性和鲁棒性，并使用噪声样本而非对抗样本来搜索架构。实验证明，该方法在图像分类和对抗攻击方面均达到了最先进的性能，并取得了准确性和鲁棒性之间的良好平衡。

Apr, 2023

本论文提出了 ProxyBO，一种利用零成本代理加速神经架构搜索的高效贝叶斯优化（BO）框架，通过我们设计的新颖获取函数结合动态影响的零成本代理，以及利用一般化能力测量估计代理在每个迭代期间的适应性，ProxyBO 在三个公共基准测试任务中的五个任务上持续超越竞争对手 REA 和 BRP-NAS，达到了 5.41x 和 3.86x 的加速。

Oct, 2021