LayerNAS:多项式复杂度下的神经架构搜索
本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题,同时提出了一种新的、层次化和基于图形的搜索空间,实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略,该方法有效地扩展了有效架构的范围,促进了多目标学习方法的发展, 并在六个基准数据集上进行了验证,在生成轻量级且高度竞争的模型方面表现出了有效性。
Apr, 2020
该论文综述了当前关于硬件感知神经架构搜索的研究,包括搜索空间,搜索策略,加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂,导致在 IoT,移动和嵌入式系统等资源受限的平台上部署困难的问题,并讨论了相关算法及策略的挑战和局限性,同时为未来的研究提供参考,这是首篇针对硬件感知神经架构搜索的论文综述。
Jan, 2021
本文提出了两种轻量级的神经架构搜索算法,并将 NAS 问题转化为多智能体问题以提高计算效率,理论上证明了 O (sqrt (T)) 的消失后悔率,实验结果在多个数据集和网络配置上表现优异,其中包括随机搜索。
Sep, 2019
在本文中,我们提出了用于比较 NAS 方法的基准测试,并对常用的 DARTS search space 进行了进一步的实验。我们发现,手工设计的宏观结构比搜索到的微观结构更重要,并且深度间隔是一个真实的现象,最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。
Dec, 2019
本文提出了一种名为 LCMNAS 的方法,它能够在非约束搜索空间条件下执行宏搜索,同时不依赖于预定义的启发式算法或范围限制,并引入三个组成部分来推动神经架构搜索方向的发展:利用有关广泛应用架构的信息,自主生成基于具有隐藏属性的加权有向图的复杂搜索空间的方法,从头开始生成完整的架构的进化搜索策略,以及结合有关初始化阶段和更低保真度估计的信息来推断它们对于建模复杂函数的训练能力和容量情况的混合性能估计方法,在 13 个不同的数据集上进行了实验,显示出 LCMNAS 能够使用最少 GPU 计算生成单元和基于宏的架构,并在各方面都取得了最先进的结果。
Mar, 2022
本文介绍了 Pareto-Optimal Progressive Neural Architecture Search (POPNASv2) 方法,该方法在原有的基础上进行了改进,通过加入新操作符、改进预测模型、引入细胞等价检查机制以及自适应贪心探索策略等方法,实现了 PNAS 相似的性能,同时平均搜索时间快了 4 倍。
Oct, 2022
利用数学规划,MathNAS 提出一种分治策略用于神经架构搜索,通过计算可能模块的表现来直接预测网络性能,从而大幅降低了网络性能评估的复杂性。
Nov, 2023
本文提出了 Gradual One-Level Differentiable Neural Architecture Search (GOLD-NAS) 算法,采用可变资源约束逐步删除超级网络中弱操作器的方法,在标准的图像分类基准测试中发现了一系列 Pareto 最优体系结构。
Jul, 2020
该研究论文总结了多目标神经架构搜索(MONAS)领域的重要工作,并讨论了神经架构搜索的分类方法、目标函数及其随机性对多目标优化过程的影响,并提出了未来研究的方向。
Jul, 2023