本文综述了现有的方法，囊括了计算机领域中的神经体系结构搜索、自动化方法和深度学习等方面，内容包括常用的体系结构搜索空间和基于强化学习和进化算法的体系结构优化算法、模拟模型和单次模型。同时，文章对新的研究方向进行了探讨。
May, 2019
本文通过分类讨论搜索空间、搜索策略与性能估计策略三种维度，为神经架构自动搜索方法的存在研究提供了一个概述。
Aug, 2018
过去十年，深度学习的发展在计算机视觉、自然语言理解、语音识别和强化学习等多个领域取得了重大突破。神经架构搜索是自动化机器学习的必然发展方向，已经在很多任务上超过了最好的人类设计架构。本文概述不同的搜索空间、算法和加速技术，并介绍了基准、最佳实践、其他综述和开放源代码库。
Jan, 2023
该论文介绍了使用强化学习和一次性训练为指导原则的自动神经架构搜索框架 DQNAS，用于生成具有优越性能且具有最小可扩展性问题的神经网络架构。该框架可以减少设计卷积神经网络的时间和测试成本。
在这篇论文中，我们提出了一种新颖的基于细胞的分层搜索空间，易于理解和操作，旨在优化搜索时间并且足够通用，可以处理大多数卷积神经网络的最先进架构。
Oct, 2023
本文研究了基于池化的主动学习方法，提出了一种新的算法，使用神经网络在表征层上的激活空间中的最远优先遍历，从池中查询连续的点，相比于随机抽样和传统的不确定性抽样技术，对 MNIST、CIFAR-10 和 CIFAR-100 三个数据集的样本复杂度都有显著提高。
Nov, 2017
本研究使用网络激活度重叠的方式实现预测神经网络的训练精度，并将其应用于神经结构搜索，以实现在单个 GPU 上进行快速网络搜索。同时，我们还提出了一种基于正则化进化搜索的适应方法，以进一步提高搜索效率。
Jun, 2020
通过代数视角来表达网络结构，我们提出了一种更具有广泛性的方法来设计搜索空间，并提出了一种 Bayesian Optimization 策略来高效地在巨大的搜索空间中搜索，实验证明我们的搜索空间设计和搜索策略可以优于现有基准。
Nov, 2022
提出了一种名为 CLEAS 的新方法，通过与神经结构搜索（NAS）紧密协作，旨在解决神经网络连续学习所面临的挑战：克服灾难性遗忘问题，适应新任务，同时控制其模型复杂度，并通过在神经元层次上设计 NAS 控制器来加强知识转移，以实现更高的分类准确度和更简单的神经网络结构。
神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词，该论文介绍了为一系列 NAS 挑战创建的八个数据集，以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。
Apr, 2024