该论文提出了一种名为 DSO-NAS 的神经架构搜索方法，采用基于稀疏正则化的模型修剪视角，利用逐步引入稀疏网络的方法来解决搜索空间庞大且不连续的问题，在 CIFAR-10 数据集上达到了 2.84％的平均测试误差，在 ImageNet 数据集上，仅使用 8 块 GPU 600M FLOPs 进行 18 小时的训练可以达到 25.4％的测试误差。

Nov, 2018

本文采用经典的贝叶斯学习方法，利用分层自动相关决策（HARD）先验对架构参数进行建模以缓解一次 NAS 方法中存在的两个问题，并成功利用 CIFAR-10 数据集在 0.2 GPU 天内找到了精确的架构，同时通过提供结构稀疏性实现了分类精度极高且极度稀疏的卷积神经网络压缩。

May, 2019

通过稀疏编码的方法，进行可微的搜索及网络结构恢复，以满足稀疏性约束，提高了神经结构搜索的效率和性能。

Oct, 2020

本论文旨在将神经架构搜索的问题从单路径和多路径搜索扩大到自动混合路径搜索。我们提出了一种新的连续架构表示方法，利用稀疏超网络和稀疏性约束来实现自动混合路径搜索。同时，我们采用了分层加速的近端梯度算法来优化所提出的稀疏超网络，并在卷积神经网络和循环神经网络搜索中进行了广泛的实验，证明了该方法能够搜索到紧凑、通用和强大的神经结构。

Jul, 2020

本文提出了一个通用框架，用于一次性神经架构搜索，并引入了一个基于最近推出的大规模表格基准 NAS-Bench-101 的基准测试框架，以评估一次性 NAS 方法的廉价性能，并比较了几种最先进的一次性 NAS 方法，检查它们对超参数的敏感性，以及如何通过调整它们的超参数来改进它们的性能，并将它们的性能与 NAS-Bench-101 的黑盒优化器进行比较。

Jan, 2020

通过提出一种一次性神经集成架构搜索解决方案，该方法使用多样的模型来提高模型的泛化能力和性能，并在 ImageNet 数据集上进行了测试，并与 MobileNetV3 和 EfficientNet 家族进行了比较，证明其在性能和泛化能力方面优于其他算法。

Apr, 2021

在本文中，我们提出了用于比较 NAS 方法的基准测试，并对常用的 DARTS search space 进行了进一步的实验。我们发现，手工设计的宏观结构比搜索到的微观结构更重要，并且深度间隔是一个真实的现象，最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。

Dec, 2019

本文提出了两种轻量级的神经架构搜索算法，并将 NAS 问题转化为多智能体问题以提高计算效率，理论上证明了 O (sqrt (T)) 的消失后悔率，实验结果在多个数据集和网络配置上表现优异，其中包括随机搜索。

Sep, 2019

该研究论文提出了一种新的可微分架构搜索方法，通过分布学习问题来加以实现，并将连续松弛的架构混合权重视为随机变量，以 Dirichlet 分布进行建模，通过路径导数优化 Dirichlet 参数，并采用渐进学习方案消除了不同 iable NAS 的大内存消耗，在 CIFAR-10、ImageNet 和 NAS-Bench-201 等几个数据集上取得了最先进的结果。

Jun, 2020

本文研究神经架构搜索中的优化问题，提出一种基于单层经验风险最小化的几何感知框架，结合梯度下降和正则化的优化器，通过基于连续优化的松弛方法实现对离散寻找空间的搜索，成功为计算机视觉中的最新 NAS 基准提供了一种优异的算法。

Apr, 2020