本文介绍了不同层面的深度学习神经网络结构搜索方法，指出当前手动搜索神经网络结构的困难和繁琐，提出了一种基于强化学习和多任务学习的神经网络结构自动化搜索算法--多任务神经模型搜索算法(MNMS)，可用于自动化拟合多项任务，其最大的特点在于，采用了迁移学习的思路，将训练模型所获得的知识迁移到下一个任务当中，大幅度节省了搜索时间，提高了模型效果。

Oct, 2017

本文介绍了神经架构搜索的问题，并调研了最近的研究成果。然后，我们深入探讨了两项对NAS进行多目标框架扩展的最新进展：MONAS和DPP-Net。MONAS和DPP-Net都能够优化精度和设备带入的其他目标，寻找可以在广泛设备上最好部署的神经架构。实验结果显示，MONAS和DPP-Net找到的架构在各种设备上均达到了 Pareto 最优性。

Aug, 2018

本文介绍了NSGA-Net，一种多目标优化的神经架构搜索算法，它通过使用前人先验知识，遗传算法（交叉和突变）以及贝叶斯网络等方式实现了对潜在神经网络结构的高效探索，从而找到一组多样的交换网络体系结构，并在CIFAR-10数据集上取得了与当前最先进的NAS方法相媲美的性能。

Oct, 2018

本文介绍了一种基于神经架构搜索（NAS）的新方法，称为神经架构传递（NAT），该方法可将已训练的超网络集成到在线迁移学习和多目标进化搜索流程中，以快速生成适用于多个应用场景的任务特定定制模型，并在11项基准图像分类任务中证明了其有效性。

May, 2020

研究提出了一种能够在不同多个任务之间进行网络架构知识转移的可转移的神经架构搜索方法，并将NAS问题转化成了最大权无环子图问题，通过对优化过程添加一些额外约束，获得了高效的排名和预测效果。

Apr, 2022

本文提出了 NATv2，它是一种改进的神经结构搜索算法，能够改善超网络结构的生成和抽取子网络的性能，并引入精调的后处理流水线，成功地提高了 NAT 的质量，因此在使用最少的参数研究高性能结构时是高度推荐的。

Jul, 2023

该研究论文总结了多目标神经架构搜索（MONAS）领域的重要工作，并讨论了神经架构搜索的分类方法、目标函数及其随机性对多目标优化过程的影响，并提出了未来研究的方向。

Jul, 2023

我们提出了一种新的神经架构搜索算法，通过超网络对设备和多个目标进行参数化和条件化，实现了性能和硬件度量之间的权衡，并在一次搜索中获得多设备上的具有代表性和多样性的架构。在高达19个硬件设备和3个目标的大量实验证明了方法的有效性和可扩展性。最后，我们证明在不增加额外成本的情况下，我们的方法在不同搜索空间和数据集上优于现有的多目标优化神经架构搜索方法，包括ImageNet-1k上的MobileNetV3和机器翻译中的Transformer空间。

Feb, 2024

Supernet是许多最新的神经架构搜索（NAS）方法中的核心组件，本文提出了一种改进的搜索策略——Supernet Shifting，以改善局部排序能力和实现模型的迁移学习。

Mar, 2024

我们使用神经架构搜索（NAS）方法，通过贝叶斯优化构建卷积神经网络（CNN）模型，以灵活适配的深度增强内存计算（IMC）架构上的多样机器学习（ML）任务的效率。通过在超过6.4亿网络配置的庞大搜索空间中探索贝叶斯搜索算法，我们验证了我们的NAS方法在IMC架构部署中取得高准确性、低延迟和能量消耗的平衡解的有效性，涵盖了三个不同的图像分类数据集。

Jun, 2024