研究了基于不同采样方法的数据集大小减少对神经结构搜索 (NAS) 算法的影响，并在 CIFAR-100 数据集上进行了 1,400 种实验，其中大多数情况下，将训练数据减少到 25％的同时，保持与使用全数据集训练相同的准确性，可以实现搜索时间的减少。

Mar, 2022

本篇论文提出了 ProxylessNAS 方法，它能够在大规模的目标任务和硬件平台上直接学习网络结构，缩减计算成本并提供了一种高效的 CNN 网络结构设计方法。实验结果表明，ProxylessNAS 可以在 CIFAR-10 和 ImageNet 数据集上超越以前的最优架构，并提供了硬件性能的定制化。

Dec, 2018

本研究通过研究现有的代理方法中排名稳定性的差异，提出了一种可靠的代理策略和层次化代理策略，在保持搜索质量的同时缩减了 400 倍的搜索时间，并且这些新的代理方法也可以应用于其他神经结构搜索算法中。

Jan, 2020

本文介绍了一种替代基于权重参数选择最大操作的 NAS 体系结构选择方法，并通过实验证明这种方法可以提取出更好的架构，并且可以纠正 DARTS 中部分失败模式。

Aug, 2021

该研究提出了一个使用自监督少样本训练的可扩展代理 (Eproxy) 和离散代理搜索 (DPS) 方法，以解决神经架构搜索 (NAS) 中的计算问题和多模态下游任务的问题。通过使用不可训练的卷积层，Eproxy 中的非线性优化空间可以区分体系结构在早期阶段的性能，同时实现对不同任务 / 搜索空间的适应性。DPS 方法具有仅通过少量基准体系结构便可在目标任务上找到 Eproxy 的最优训练设置的优点。

Oct, 2022

本篇论文提出了一种名为 P-DARTS 的算法来解决神经网络架构搜索中的 transfer learning 问题，并在 CIFAR10 数据集以及几个目标问题（包括 ImageNet 分类，COCO 检测和三个 ReID benchmarks）上实现了更好的性能。

Dec, 2019

利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4 GPU 小时完成的高质量搜索。

Feb, 2021

本文提出了一种基于纵向梯度下降的可微分神经结构搜索方法（称为 NASP），其通过将搜索过程重新构成为一个优化问题，并在前向和反向传播期间仅允许更新一个操作的约束条件下，以 10 倍于 DARTS 方法的计算时间加速获得高性能的架构。

May, 2019

在本文中，我们提出了一个自动选择代理数据集框架（ASP），旨在动态找到每个时期训练数据的信息代理子集，减小训练数据的规模，并节省自动机器学习处理时间。实验证明，ASP 能够在各种选择比例下获得比其他数据选择方法更好的结果，同时在相对于使用整个数据集时，获取更好的架构和更好的超参数的情况下，可以使自动机器学习处理更加高效。

Oct, 2023

本文提出了一种高效的神经架构搜索（Neural Architecture Search, NAS）框架，基于元学习的跨模态潜空间，结合预训练的网络库和数据库，可以快速地为新数据集搜索神经架构，并且还提出了一种元性能预测器来从多个未见数据集中预估和选择最佳的神经架构。实验结果表明，该模型受过 ImageNet-1K 的元学习并结合 NAS-Bench 201 搜索空间的神经架构，在包括 CIFAR-10 和 CIFAR-100 等多个未见数据集上成功泛化，平均搜索时间为 33 GPU 秒，即使在 MobileNetV3 搜索空间下，它比具有相似性能的可转移 NAS 方法 NSGANetV2 快 5.5K 倍。我们认为这为快速 NAS 和利用累积多年的数据集和架构的知识提出了新的研究方向。

Jul, 2021