本文提出了一种基于深度神经网络的自动化设计架构的新框架，该框架使用强化学习代理作为元控制器，通过功能保持变换在当前网络的基础上，尝试增加网络深度或层宽。在 CIFAR-10 和 SVHN 基准数据集上的测试表明，该方法在受限的计算资源下可以设计出具有高竞争力的网络，并在不使用跨层连接的条件下实现了 4.23％的测试误差率。

Jul, 2017

本文提出了一种新的网络剪枝方法，通过神经结构搜索直接搜索灵活的通道和层大小， 最小化剪枝网络的失误实现通道和层大小的学习，提高了传统的网络剪枝方法， 并有效地区别了不同搜索和知识转移方法的效果。

May, 2019

本文介绍了一种新的基于梯度的神经架构变换搜索算法 (NATS)，它可以将以图像分类为目的设计的神经网络重新构建为目标检测网络，而且不需要额外的参数和计算量，“transformed networks” 在 COCO 数据集上表现显著提高，适用于实时应用。

Sep, 2019

本文设计了一种改进的重新参数化搜索空间以及基于神经网络架构搜索的自动重新参数化增强策略，通过搜索优秀的重新参数化架构进一步提高了卷积网络的分类精度。

Apr, 2022

该研究提出了一种基于元卷积核的高效神经架构搜索策略，通过直接编码超级网络来缩小多个卷积核选项，从而在减少中间特征存储内存和资源预算的同时，实现更精细的搜索。该方法在 ImageNet 基准数据集上以 357M FLOPs 为限制可达到 77.0% 的 top-1 准确率，超过了 EfficientNet 和 MobileNetV3，并且与最先进的 NAS 方法相比，在相同的计算预算下速度还快了三个数量级。

Dec, 2019

本文介绍了一种使用简化的超网络进行单路径神经架构搜索的方法，该方法易于训练、快速搜索、灵活支持不同的搜索约束，并在大规模数据集 ImageNet 上实现了最先进的性能。

Mar, 2019

PathNet 是一个神经网络算法，利用嵌入到神经网络中的代理，其任务是发现用于新任务的网络哪些部分可以重新使用以允许参数重用，以防止灾难性遗忘。我们证明了它在二进制 MNIST，CIFAR 和 SVHN 监督学习分类任务和一组 Atari 和 Labyrinth 强化学习任务上具有广泛适用性。

Jan, 2017

ECToNAS 是一种成本效益高的进化交叉拓扑神经架构搜索算法，它不需要任何预训练元控制器。该框架能够为不同的任务和超参数设置选择适当的网络架构，在需要时独立进行交叉拓扑优化。这是一种将训练和拓扑优化融合为一个轻量级、资源友好的过程的混合方法。我们通过六个标准数据集（CIFAR-10，CIFAR-100，EuroSAT，Fashion MNIST，MNIST，SVHN）展示了这种方法的有效性和能力，展示了该算法不仅能够优化同一种架构类型内的拓扑，还能够在需要的时候动态添加和删除卷积单元，从而跨越不同网络类型的边界。这使得没有机器学习背景的研究人员能够利用合适的模型类型和拓扑，在其领域应用机器学习方法，使用一种计算成本低、易于使用的交叉拓扑神经架构搜索框架，完全将拓扑优化嵌入到训练过程中。

Mar, 2024

本文提出了一个神经架构搜索算法 Petridish，用于随着现有网络层的迭代添加快捷连接。其利用加入的快捷连接在增强的层上有效地执行梯度增强。文中所提出的算法受到特征选择算法前向逐步线性回归的启发，因为我们将 NAS 视为回归的特征选择的泛化，即 NAS 在层之间选择快捷方式而不是选择特征。为了减少可能的连接组合的试验次数，我们共同训练每个增长阶段的所有可能连接，同时利用特征选择技术选择其中的子集。我们在研究中发现，Petridish 是一种有效率的前向架构搜索算法，在重复网络模块（cell-search）和通用网络（macro-search）的搜索空间中，使用了很少的 GPU 天数可以找到竞争模型。 特别适用于从现有模型启动的生命周期学习场景。

May, 2019

本论文旨在将神经架构搜索的问题从单路径和多路径搜索扩大到自动混合路径搜索。我们提出了一种新的连续架构表示方法，利用稀疏超网络和稀疏性约束来实现自动混合路径搜索。同时，我们采用了分层加速的近端梯度算法来优化所提出的稀疏超网络，并在卷积神经网络和循环神经网络搜索中进行了广泛的实验，证明了该方法能够搜索到紧凑、通用和强大的神经结构。

Jul, 2020