本文提出了一个统一的理论分析框架来研究基于梯度的免训练神经构架搜索方法，从而理论上研究它们之间的关系、保证它们的泛化性能并开发一种名为 Hybrid NAS (HNAS) 的新框架，它在原则上可以持续提高训练免费 NAS 的效果。

Jan, 2022

本文研究了针对语言建模任务的循环神经网络 (RNN) 和基于 BERT 的 transformer 架构的无需训练的 NAS 指标，提出了一种新的指标来预测训练后的 RNN 性能，并发现 transformer 的搜索空间范式不适用于无需训练的神经架构搜索，需要进行优化。

Jun, 2023

本文提出了一种名为 FreeREA 的算法，利用基于细胞的演化神经网络结构搜索，结合训练 - 免度量化的方式，实现了在几分钟内快速鉴别神经网络模型，同时保留模型大小和计算要求，因此能够适用于在有限资源下使用的应用。实验结果表明，FreeREA 可以在各种数据集和基准测试中优于现有的基于训练 / 免训练技术的技术，并能在约束的情况下扩展到通用神经结构搜索，从而为快速的神经结构搜索提供了一种有竞争力的解决方案。

Jun, 2022

本研究使用网络激活度重叠的方式实现预测神经网络的训练精度，并将其应用于神经结构搜索，以实现在单个 GPU 上进行快速网络搜索。同时，我们还提出了一种基于正则化进化搜索的适应方法，以进一步提高搜索效率。

Jun, 2020

最近神经网络架构搜索 (NAS) 的发展强调考虑恶意数据下的鲁棒性架构的重要性，然而，在搜索这些鲁棒性架构时，尤其是在考虑对抗训练时，缺乏显著的基准评估和理论保证。本文旨在解决这两个挑战，做出了双重贡献：首先，我们发布了一个综合数据集，该数据集包含来自 NAS-Bench-201 搜索空间在图像数据集上经过对抗训练的网络的干净准确度和鲁棒准确度；其次，利用深度学习理论中的神经切线核 (NTK) 工具，我们建立了一个关于在干净准确度和鲁棒准确度下搜索架构的泛化理论，该理论适用于多目标对抗训练。我们坚信，我们的基准和理论见解将对 NAS 社区产生重大影响，通过可靠的再现性、高效的评估和理论基础，特别是在追求鲁棒架构方面。

Mar, 2024

本研究提出一种名为 Robust Neural Architecture Search 的新型神经架构搜索方法，使用正则化项来平衡准确性和鲁棒性，并使用噪声样本而非对抗样本来搜索架构。实验证明，该方法在图像分类和对抗攻击方面均达到了最先进的性能，并取得了准确性和鲁棒性之间的良好平衡。

Apr, 2023

利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

Feb, 2021

通过将神经结构转换为图形并使用平均度量作为代理评估指标，我们的 nasgraph 方法显著降低了训练自动设计的神经网络模型候选的计算成本，实现在 217 CPU 秒内从 NAS-Bench201 的 200 个随机采样架构中找到最佳架构，并在不同数据集上实现有竞争力的性能，包括 NASBench-101、NASBench-201 和 NDS 搜索空间。我们还展示了 nasgraph 在 Micro TransNAS-Bench-101 上可以推广至更具挑战性的任务。

May, 2024

本文提出了基于贝叶斯元学习的 (Meta Architecture Search) 方法，用于加速大量任务的体系结构搜索，通过学习适用于整个任务集的任务不可知表达式，实现对 NAS 的大规模高效搜索，减少计算成本，并在 Imagenet 分类任务中发现了与目前使用更少显卡宽带的超参搜索算法相当的结果

Dec, 2018

本文以深度预训练神经网络为基础，探究如何通过数据恢复技术以及自主生成的语义与多样性丰富的合成数据，实现在保护隐私，避免偏见等现实场景下，无需使用原始训练数据进行神经结构搜索的可行性和效果，并发现合成数据的神经结构搜索表现不亚于以往使用原始数据的搜索结果。

Dec, 2021