提出了 RoBoT 算法，该算法通过优化组合已有的基于贝叶斯优化的训练免费度量标准，开发出在多样任务上具有强健性和一致更优性能的度量标准，并在新开发的度量标准上应用贪婪搜索以提高标准训练免费 NAS 的搜索性能。在多个 NAS 基准任务的广泛实验中，我们的 RoBoT 算法在理论结果支持下取得了实质性的经验证据。

Mar, 2024

本文研究了针对语言建模任务的循环神经网络 (RNN) 和基于 BERT 的 transformer 架构的无需训练的 NAS 指标，提出了一种新的指标来预测训练后的 RNN 性能，并发现 transformer 的搜索空间范式不适用于无需训练的神经架构搜索，需要进行优化。

Jun, 2023

本研究使用网络激活度重叠的方式实现预测神经网络的训练精度，并将其应用于神经结构搜索，以实现在单个 GPU 上进行快速网络搜索。同时，我们还提出了一种基于正则化进化搜索的适应方法，以进一步提高搜索效率。

Jun, 2020

通过将神经结构转换为图形并使用平均度量作为代理评估指标，我们的 nasgraph 方法显著降低了训练自动设计的神经网络模型候选的计算成本，实现在 217 CPU 秒内从 NAS-Bench201 的 200 个随机采样架构中找到最佳架构，并在不同数据集上实现有竞争力的性能，包括 NASBench-101、NASBench-201 和 NDS 搜索空间。我们还展示了 nasgraph 在 Micro TransNAS-Bench-101 上可以推广至更具挑战性的任务。

May, 2024

利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

Feb, 2021

本文以深度预训练神经网络为基础，探究如何通过数据恢复技术以及自主生成的语义与多样性丰富的合成数据，实现在保护隐私，避免偏见等现实场景下，无需使用原始训练数据进行神经结构搜索的可行性和效果，并发现合成数据的神经结构搜索表现不亚于以往使用原始数据的搜索结果。

Dec, 2021

本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

Jul, 2020

本文研究神经架构搜索中的优化问题，提出一种基于单层经验风险最小化的几何感知框架，结合梯度下降和正则化的优化器，通过基于连续优化的松弛方法实现对离散寻找空间的搜索，成功为计算机视觉中的最新 NAS 基准提供了一种优异的算法。

Apr, 2020

本文提出了一种名为 “Generic NAS” 的通用 NAS 框架，该框架采用自监督回归任务来评估架构的内在能力，并且在 13 个 CNN 搜索空间和一个 NLP 空间上进行了广泛的实验，展示了 GenNAS 的显着高效性（通过 Spearman 的 rho 度量的排名相关性和训练的收敛速度都得到了提升），并回答了两个与 NAS 相关的基本问题。

Aug, 2021

本文提出了一种用稀疏编码目标寻找参数的神经架构编码（NAC）方法，用于 NAS-GNNs，无需更新可在线性时间内高效计算，多个基准测试集上实验结果表明相比强基准线方法提高了 18.8% 的性能且速度快了最高 200 倍。

May, 2023