本文研究神经架构搜索中的优化问题，提出一种基于单层经验风险最小化的几何感知框架，结合梯度下降和正则化的优化器，通过基于连续优化的松弛方法实现对离散寻找空间的搜索，成功为计算机视觉中的最新 NAS 基准提供了一种优异的算法。

Apr, 2020

该研究论文提出了一种新的可微分架构搜索方法，通过分布学习问题来加以实现，并将连续松弛的架构混合权重视为随机变量，以 Dirichlet 分布进行建模，通过路径导数优化 Dirichlet 参数，并采用渐进学习方案消除了不同 iable NAS 的大内存消耗，在 CIFAR-10、ImageNet 和 NAS-Bench-201 等几个数据集上取得了最先进的结果。

Jun, 2020

LayerNAS 是一种利用组合优化来解决多目标神经网络架构搜索的方法，能够在多种搜索空间中发现优秀的模型候选项。

Apr, 2023

多粒度架构搜索（MGAS）是一个统一框架，旨在全面且高效地探索多粒度搜索空间以发现既有效又高效的神经网络，并在模型性能和模型大小之间取得更好的平衡。

Oct, 2023

本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展， 并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

Apr, 2020

本文提出了一种基于纵向梯度下降的可微分神经结构搜索方法（称为 NASP），其通过将搜索过程重新构成为一个优化问题，并在前向和反向传播期间仅允许更新一个操作的约束条件下，以 10 倍于 DARTS 方法的计算时间加速获得高性能的架构。

May, 2019

通过可微分采样器实现基于梯度下降的神经结构搜索方法，旨在在 CIFAR-10 数据集上提升搜索效率并获取与最新技术水平持平的测试准确率。

Oct, 2019

本文通过重新思考可微分 NAS 的三个自由度：操作级，深度级和宽度级，提出了一种新的方法，名为 Three-Freedom NAS（TF-NAS），以实现良好的分类准确性和精确的延迟约束。该方法还包括双采样搜索算法、汇流连接搜索空间和弹性缩放策略。在 ImageNet 实验中证明了 TF-NAS 的有效性，尤其是 TF-NAS-A 在 1.8 天内只用 1 个 Titan RTX GPU 时间就获得了 76.9％的顶部 1 准确度，实现了最新的成果。

Aug, 2020

本文探讨了一种新的神经架构搜索度量方式，发现损失曲面的平整度可以预测神经网络架构的泛化能力，通过在不同的搜索空间进行评估，提出的方法相对于现有的 NAS 方法表现更好，并且在数据分布偏移以及目标检测或语义分割等任务中具有稳健的泛化能力。

May, 2023

该论文提出了一种不同 iable 的搜索空间方法，可以通过逐渐修剪较差的操作，实现体系结构权重的退火，从而以连续的方式收敛到单个输出网络，实验表明该方法在视觉数据集上具有较高的准确性和较低的搜索成本。

Apr, 2019