提出了一种名为 CLEAS 的新方法，通过与神经结构搜索（NAS）紧密协作，旨在解决神经网络连续学习所面临的挑战：克服灾难性遗忘问题，适应新任务，同时控制其模型复杂度，并通过在神经元层次上设计 NAS 控制器来加强知识转移，以实现更高的分类准确度和更简单的神经网络结构。

Jun, 2020

研究使用神经结构搜索（NAS）算法通过对 loss landscape 以及 gradient information 的分析，发现其倾向于选择使用 wide and shallow cell structures 的架构，虽然这些架构具有快速收敛的优势，但不一定能获得比其他架构更好的泛化性能。因此，有必要修正现有的 NAS 算法。

Sep, 2019

ENAS 提出了高效神经架构搜索方法，使用控制器在大型计算图中发现神经网络架构，以优化子图为目标进行训练，利用共享子模型参数，使用的 GPU-hours 要比所有现有的自动模型设计方法少 1000 倍，设计出实现最新技术水平的新型结构。

Feb, 2018

本文介绍了不同层面的深度学习神经网络结构搜索方法，指出当前手动搜索神经网络结构的困难和繁琐，提出了一种基于强化学习和多任务学习的神经网络结构自动化搜索算法 -- 多任务神经模型搜索算法 (MNMS)，可用于自动化拟合多项任务，其最大的特点在于，采用了迁移学习的思路，将训练模型所获得的知识迁移到下一个任务当中，大幅度节省了搜索时间，提高了模型效果。

Oct, 2017

研究自动化方法来生成最新的神经网络架构而无需人类专家，并探究解释可解性和记忆缓冲作为有效方法的影响。

Mar, 2019

过去十年，深度学习的发展在计算机视觉、自然语言理解、语音识别和强化学习等多个领域取得了重大突破。神经架构搜索是自动化机器学习的必然发展方向，已经在很多任务上超过了最好的人类设计架构。本文概述不同的搜索空间、算法和加速技术，并介绍了基准、最佳实践、其他综述和开放源代码库。

Jan, 2023

我们提出了一种基于叠加单元的神经网络结构搜索的两阶段进化方法（TS-ENAS），包括基于堆叠单元的一阶段搜索和对这些单元进行调整的二阶段。在算法中，我们设计了一种新的基于单元的搜索空间和一种有效的两阶段编码方法来表示单元和神经网络结构。此外，我们设计了一种基于单元的权重继承策略来初始化网络的权重，这显著减少了算法的运行时间。我们在四个图像分类数据集 Fashion-MNIST、CIFAR10、CIFAR100 和 ImageNet 上对所提出的方法进行了广泛的测试和比较，并与包括手工设计网络和 NAS 网络在内的 22 个最新算法进行了比较。实验结果表明，TS-ENAS 能更有效地找到性能相当的神经网络结构。

Oct, 2023

本论文提出了一种名为 ESS 的神经网络结构搜索算法，它拥有更广泛的搜索空间，不仅可以学习循环或卷积细胞内的体系架构，还可以学习单元格之间的体系架构，并使用联合学习方法同时进行单元内和单元间的架构优化，在递归神经语言模型任务上取得了最新的最佳效果，并表现出优秀的泛化性能，对于大规模预学习体系结构的研究具有很大的潜力。

May, 2020

本文提出了一种深度多模态神经网络架构搜索（MMnas）框架， 通过使用基于梯度的 NAS 算法，可以高效地学习不同任务的最佳架构，并设计了一个统一的编码器 - 解码器骨干网络，其中每个编码器或解码器块对应于从预定义的操作池中搜索出来的操作，以及面向不同多模态学习任务的特定头部。实验结果表明，MMnasNet 在三个多模态学习任务上显着优于现有的最先进方法，包括视觉问答、图像文本匹配和视觉定位。

Apr, 2020

在这篇论文中，我们提出了一种新颖的基于细胞的分层搜索空间，易于理解和操作，旨在优化搜索时间并且足够通用，可以处理大多数卷积神经网络的最先进架构。

Oct, 2023