本文介绍了不同层面的深度学习神经网络结构搜索方法，指出当前手动搜索神经网络结构的困难和繁琐，提出了一种基于强化学习和多任务学习的神经网络结构自动化搜索算法 -- 多任务神经模型搜索算法 (MNMS)，可用于自动化拟合多项任务，其最大的特点在于，采用了迁移学习的思路，将训练模型所获得的知识迁移到下一个任务当中，大幅度节省了搜索时间，提高了模型效果。

Oct, 2017

本文提出了将神经架构搜索（NAS）应用于通用多任务学习（GP-MTL）中的方法。我们将 GP-MTL 网络分解成单任务骨干和层级分层特征共享 / 融合，设计了一个新颖的通用任务无关搜索空间，并提出了一种新颖的单次梯度基于搜索算法。通过对体系结构权重进行最小熵正则化，使体系结构权重收敛到近离散值，从而实现单个模型，达到可直接用于评估且不必从头开始培训。

Mar, 2020

该研究论文总结了多目标神经架构搜索（MONAS）领域的重要工作，并讨论了神经架构搜索的分类方法、目标函数及其随机性对多目标优化过程的影响，并提出了未来研究的方向。

Jul, 2023

本文提出了一种 Multi-Scale NAS 框架，具有从网络主干到单元操作的多尺度搜索空间和多尺度融合能力，采用部分通道连接方案和两步解码方法来提高计算效率，实验结果表明，MS-NAS 在各种分割数据集上优于现有方法，并实现了 0.6-5.4% mIOU 和 0.4-3.5% DSC 的提高，计算资源消耗减少了 18.0-24.9%。

Jul, 2020

本文提出一种新颖的多模态融合架构搜索空间，使用序列模型搜索方法在不同领域和数据集中寻找优化架构，发现表现优异的融合架构，解决了多模态分类问题。

Mar, 2019

提出了一种用于多模态融合网络的联合优化框架，通过嵌入硬件维度进行优化，结果表明在各种设备和多模态数据集上，Harmonic-NAS 相对于现有方法具有更高的准确率改进、更低的推理延迟和更高的能效提升。

Sep, 2023

本文介绍了神经架构搜索的问题，并调研了最近的研究成果。然后，我们深入探讨了两项对 NAS 进行多目标框架扩展的最新进展：MONAS 和 DPP-Net。MONAS 和 DPP-Net 都能够优化精度和设备带入的其他目标，寻找可以在广泛设备上最好部署的神经架构。实验结果显示，MONAS 和 DPP-Net 找到的架构在各种设备上均达到了 Pareto 最优性。

Aug, 2018

过去十年，深度学习的发展在计算机视觉、自然语言理解、语音识别和强化学习等多个领域取得了重大突破。神经架构搜索是自动化机器学习的必然发展方向，已经在很多任务上超过了最好的人类设计架构。本文概述不同的搜索空间、算法和加速技术，并介绍了基准、最佳实践、其他综述和开放源代码库。

Jan, 2023

本文提出了一种基于不可微神经网络结构搜索的有原则方法，用于自动定义多任务神经网络编码阶段的分支结构。该方法通过引入资源感知损失来使模型尺寸动态地可控，最终在有限资源预算内找到高性能分支结构。

Aug, 2020

本文提出了基于贝叶斯元学习的 (Meta Architecture Search) 方法，用于加速大量任务的体系结构搜索，通过学习适用于整个任务集的任务不可知表达式，实现对 NAS 的大规模高效搜索，减少计算成本，并在 Imagenet 分类任务中发现了与目前使用更少显卡宽带的超参搜索算法相当的结果

Dec, 2018