研究使用神经结构搜索（NAS）算法通过对 loss landscape 以及 gradient information 的分析，发现其倾向于选择使用 wide and shallow cell structures 的架构，虽然这些架构具有快速收敛的优势，但不一定能获得比其他架构更好的泛化性能。因此，有必要修正现有的 NAS 算法。

Sep, 2019

本文的研究内容是基于文本数据集的循环神经网络搜索空间，旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中，研究者在文本数据集上训练了 14k 种循环神经网络结构，并进行了内在和外在的评估，最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。

Jun, 2020

过去十年，深度学习的发展在计算机视觉、自然语言理解、语音识别和强化学习等多个领域取得了重大突破。神经架构搜索是自动化机器学习的必然发展方向，已经在很多任务上超过了最好的人类设计架构。本文概述不同的搜索空间、算法和加速技术，并介绍了基准、最佳实践、其他综述和开放源代码库。

Jan, 2023

在这篇论文中，我们提出了一种新颖的基于细胞的分层搜索空间，易于理解和操作，旨在优化搜索时间并且足够通用，可以处理大多数卷积神经网络的最先进架构。

Oct, 2023

本文介绍了神经架构搜索的基本概念以及搜索空间、算法和评估技术的主要进展。

May, 2020

本研究提出了一种新颖的连续体系结构搜索方法和一种基于多任务学习的组合单元结构搜索方法，通过块稀疏性和正交性约束实现连续的进化学习，同时通过联合控制器奖励实现学习到的单元结构在多个任务上的优秀表现，成功应用于句子对分类和视频字幕生成等多领域任务中。

Jun, 2019

本文介绍了不同层面的深度学习神经网络结构搜索方法，指出当前手动搜索神经网络结构的困难和繁琐，提出了一种基于强化学习和多任务学习的神经网络结构自动化搜索算法 -- 多任务神经模型搜索算法 (MNMS)，可用于自动化拟合多项任务，其最大的特点在于，采用了迁移学习的思路，将训练模型所获得的知识迁移到下一个任务当中，大幅度节省了搜索时间，提高了模型效果。

Oct, 2017

本文提出了一种名为 LCMNAS 的方法，它能够在非约束搜索空间条件下执行宏搜索，同时不依赖于预定义的启发式算法或范围限制，并引入三个组成部分来推动神经架构搜索方向的发展：利用有关广泛应用架构的信息，自主生成基于具有隐藏属性的加权有向图的复杂搜索空间的方法，从头开始生成完整的架构的进化搜索策略，以及结合有关初始化阶段和更低保真度估计的信息来推断它们对于建模复杂函数的训练能力和容量情况的混合性能估计方法，在 13 个不同的数据集上进行了实验，显示出 LCMNAS 能够使用最少 GPU 计算生成单元和基于宏的架构，并在各方面都取得了最先进的结果。

Mar, 2022

神经网络、深度学习、神经架构搜索、数据集、NAS 挑战是研究论文的关键词，该论文介绍了为一系列 NAS 挑战创建的八个数据集，以及使用标准深度学习方法和挑战参与者的最佳结果进行的实验。

Apr, 2024

该论文提出了一种基于 Transformer 的新型代理，支持多个搜索空间和任务之间的联合训练和高效先前知识的传输。

Jun, 2019