PONAS: 面向高效部署的渐进式单次神经架构搜索
本文介绍了 Pareto-Optimal Progressive Neural Architecture Search (POPNASv2) 方法,该方法在原有的基础上进行了改进,通过加入新操作符、改进预测模型、引入细胞等价检查机制以及自适应贪心探索策略等方法,实现了 PNAS 相似的性能,同时平均搜索时间快了 4 倍。
Oct, 2022
本篇论文介绍了一种名为 BONAS 的基于贝叶斯优化的神经架构搜索框架,该框架使用图卷积网络预测器作为代理模型以在每次迭代中选择多个相关的候选模型,并采用权重共享方法来同时训练多个候选模型。该方法不仅可以显著加速传统的基于采样的方法,而且可以保持其可靠性。
Nov, 2019
本文介绍一种名为 Prior-Guided One-shot NAS 的神经架构搜索方法,它采用平衡采样策略、FLOPs 和 Zen-Score 等机制来加强超级网络的排名相关性,取得了 CVPR2022 第二轻量化 NAS 挑战赛超级网络轨道的第三名。
Jun, 2022
该研究提出了一种名为 EPNAS(高效渐进的神经结构搜索)的神经结构搜索方法,它通过一种新的渐进搜索策略和基于 REINFORCE 的性能预测有效地处理大型搜索空间。EPNAS 被设计成能够在并行系统(如 GPU/TPU 集群)上并行搜索目标网络。该方法还可以推广到具有多个资源限制的体系结构搜索,这对于在移动设备和云平台等广泛平台上进行部署非常重要。在使用 CIFAR10 和 ImageNet 进行图像识别任务时,该方法在架构搜索速度和识别准确性方面均优于先进的网络结构和高效的 NAS 算法。
Jul, 2019
本文介绍了 Pareto-Optimal Progressive Neural Architecture Search (POPNASv3) 的第三个版本,这是一个新的顺序模型优化 NAS 算法,旨在针对不同的硬件环境和多个分类任务。我们的方法能够在大型搜索空间中找到具有竞争力的结构,同时保持灵活的结构和数据处理管道以适应不同的任务。
Dec, 2022
本文介绍了神经架构搜索的问题,并调研了最近的研究成果。然后,我们深入探讨了两项对 NAS 进行多目标框架扩展的最新进展:MONAS 和 DPP-Net。MONAS 和 DPP-Net 都能够优化精度和设备带入的其他目标,寻找可以在广泛设备上最好部署的神经架构。实验结果显示,MONAS 和 DPP-Net 找到的架构在各种设备上均达到了 Pareto 最优性。
Aug, 2018
该研究提出了 few-shot NAS,利用多个超级网络(称为子超级网络)覆盖搜索空间的不同区域,以缓解操作之间的不良共适应,并证明其在多项任务中能够显著提高各种一次性方法的准确性,包括在 NasBench-201 和 NasBench1-shot-1 上的 3 个不同任务中的 4 个基于梯度的和 6 个基于搜索的方法,并在 ImageNet、CIFAR10 和 Auto-GAN 上取得最新水平。
Jun, 2020
本文采用经典的贝叶斯学习方法,利用分层自动相关决策(HARD)先验对架构参数进行建模以缓解一次 NAS 方法中存在的两个问题,并成功利用 CIFAR-10 数据集在 0.2 GPU 天内找到了精确的架构,同时通过提供结构稀疏性实现了分类精度极高且极度稀疏的卷积神经网络压缩。
May, 2019
提出一种名为 SGNAS 的一次搜索神经结构的框架,使用生成器生成子网络以更加高效和灵活地进行搜索,同时还提出了一种名为统一超网络的新单路径超网络以进一步提高搜索效率和减少 GPU 内存消耗,在 ImageNet 数据集上仅用 5 个 GPU 小时完成 $N$ 个不同硬件限制下的搜索,准确率达 77.1%。
Mar, 2021
本文提出了一种名为 OPANAS 的神经架构搜索算法,应用于目标检测任务中,通过引入六个异构信息路径,采用 FPN 候选网络的稠密连接有向无环图表示法进行搜索,并通过高效率的一次性搜索方法找到最优路径,并在实验中证明了该算法具有超越 NAS-FPN 和 Auto-FPN 方法的高效和最先进的检测精度。
Mar, 2021