NPENAS: 神经预测引导的神经结构搜索
本文介绍一种名为 NESBS 的新型神经集成搜索算法,可从 NAS 搜索空间中有效且高效地选择表现优秀的神经网络集成,具有在实践中优于 NAS 算法的性能表现,而且与同类算法相比成本相当。
Sep, 2021
本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题,同时提出了一种新的、层次化和基于图形的搜索空间,实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略,该方法有效地扩展了有效架构的范围,促进了多目标学习方法的发展, 并在六个基准数据集上进行了验证,在生成轻量级且高度竞争的模型方面表现出了有效性。
Apr, 2020
该论文提出了一种名为 GEA 的新型引导神经结构搜索方法,该方法使用零代理估计器在每个代际初始化阶段生成和评估多个架构,然后从现有架构生成多个后代并同时驱动探索和剪枝,结果表明 GEA 在多个数据集上都取得了最先进的结果。
Jul, 2022
该研究提出了一种名为 EPNAS(高效渐进的神经结构搜索)的神经结构搜索方法,它通过一种新的渐进搜索策略和基于 REINFORCE 的性能预测有效地处理大型搜索空间。EPNAS 被设计成能够在并行系统(如 GPU/TPU 集群)上并行搜索目标网络。该方法还可以推广到具有多个资源限制的体系结构搜索,这对于在移动设备和云平台等广泛平台上进行部署非常重要。在使用 CIFAR10 和 ImageNet 进行图像识别任务时,该方法在架构搜索速度和识别准确性方面均优于先进的网络结构和高效的 NAS 算法。
Jul, 2019
提出了一种名为 RE-NAS 的神经架构搜索方法,结合了进化算法和强化突变控制,成功地在 CIFAR-10 上发现了可用于图像分类的强大架构 RENASNet,并在移动 ImageNet 上取得了最新的最高准确率。
Aug, 2018
ENAS 提出了高效神经架构搜索方法,使用控制器在大型计算图中发现神经网络架构,以优化子图为目标进行训练,利用共享子模型参数,使用的 GPU-hours 要比所有现有的自动模型设计方法少 1000 倍,设计出实现最新技术水平的新型结构。
Feb, 2018
本研究从贝叶斯角度出发,提出了一种后验引导的神经结构搜索方法(PGNAS),通过估计网络结构和权重的联合后验分布,减少数据采样与超参数调整,并在图像分类任务上进行验证,证明了 PGNAS 较其它方法在搜索精度与速度方面具有良好的平衡。
Jun, 2019
通过将搜索空间转换为相互连接的单元,并顺序地搜索这些单元,然后对整个网络的上述搜索进行多次循环以减小先前单元对后续单元的影响,我们提出了 Multiple Population Alternate Evolution Neural Architecture Search(MPAE)这一新颖的神经网络架构搜索范式,并在迁移归档中建立出色的迁移档案,并将其中的优秀知识和经验传递给新的群体,从而加速种群进化过程,该方法仅需要 0.3 GPU 天即可在 CIFAR 数据集上搜索神经网络,并达到了最先进的结果。
Mar, 2024
本文介绍了 Pareto-Optimal Progressive Neural Architecture Search (POPNASv2) 方法,该方法在原有的基础上进行了改进,通过加入新操作符、改进预测模型、引入细胞等价检查机制以及自适应贪心探索策略等方法,实现了 PNAS 相似的性能,同时平均搜索时间快了 4 倍。
Oct, 2022