Oct, 2022

POPNASv2: 高效的多目标神经结构搜索技术

PDF
TL;DR本文介绍了 Pareto-Optimal Progressive Neural Architecture Search (POPNASv2) 方法，该方法在原有的基础上进行了改进，通过加入新操作符、改进预测模型、引入细胞等价检查机制以及自适应贪心探索策略等方法，实现了 PNAS 相似的性能，同时平均搜索时间快了 4 倍。
neural architecture searchprogressive neural architecture searchpareto-optimalmulti-objective optimizationcell equivalence
发现论文，激发创造
  • POPNASv3: 一种用于图像和时间序列分类的 Pareto-Optimal 神经架构搜索解决方案

    本文介绍了 Pareto-Optimal Progressive Neural Architecture Search (POPNASv3) 的第三个版本，这是一个新的顺序模型优化 NAS 算法，旨在针对不同的硬件环境和多个分类任务。我们的方法能够在大型搜索空间中找到具有竞争力的结构，同时保持灵活的结构和数据处理管道以适应不同的任务。

    Dec, 2022

  • 高效渐进式神经结构搜索

    该研究提出了一种名为 EPNAS（高效渐进的神经结构搜索）的神经结构搜索方法，它通过一种新的渐进搜索策略和基于 REINFORCE 的性能预测有效地处理大型搜索空间。EPNAS 被设计成能够在并行系统（如 GPU/TPU 集群）上并行搜索目标网络。该方法还可以推广到具有多个资源限制的体系结构搜索，这对于在移动设备和云平台等广泛平台上进行部署非常重要。在使用 CIFAR10 和 ImageNet 进行图像识别任务时，该方法在架构搜索速度和识别准确性方面均优于先进的网络结构和高效的 NAS 算法。

    Jul, 2019

  • PONAS: 面向高效部署的渐进式单次神经架构搜索

    通过一种表格构建技术，PONAS 基于进步式神经架构搜索（NAS）和一次性 NAS 方法相结合，以非常高效的方式设计符合不同硬件约束的神经网络架构，实验中 ImageNet 分类任务的 top-1 精度达到了 75.2%。

    Mar, 2020

  • 多目标神经架构搜索调查

    该研究论文总结了多目标神经架构搜索（MONAS）领域的重要工作，并讨论了神经架构搜索的分类方法、目标函数及其随机性对多目标优化过程的影响，并提出了未来研究的方向。

    Jul, 2023

  • LayerNAS：多项式复杂度下的神经架构搜索

    LayerNAS 是一种利用组合优化来解决多目标神经网络架构搜索的方法，能够在多种搜索空间中发现优秀的模型候选项。

    Apr, 2023

  • NPENAS: 神经预测引导的神经结构搜索

    本文介绍一种基于神经预测器的进化算法（NPENAS）用于增强 NAS 的探索能力，设计了两种神经预测器，其中一种是基于贝叶斯优化的不确定性估计网络，另一种是直接输出输入神经结构性能预测的基于图的神经网络。大量实验表明，使用这种方法的 NPENAS 优于大多数现有的 NAS 算法.

    Mar, 2020

  • 神经网络结构生成器优化

    本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展， 并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

    Apr, 2020

  • 面向 Pareto - 最优设备感知神经网络架构的搜索

    本文介绍了神经架构搜索的问题，并调研了最近的研究成果。然后，我们深入探讨了两项对 NAS 进行多目标框架扩展的最新进展：MONAS 和 DPP-Net。MONAS 和 DPP-Net 都能够优化精度和设备带入的其他目标，寻找可以在广泛设备上最好部署的神经架构。实验结果显示，MONAS 和 DPP-Net 找到的架构在各种设备上均达到了 Pareto 最优性。

    Aug, 2018

  • 后验引导的神经网络结构搜索

    本研究从贝叶斯角度出发，提出了一种后验引导的神经结构搜索方法（PGNAS），通过估计网络结构和权重的联合后验分布，减少数据采样与超参数调整，并在图像分类任务上进行验证，证明了 PGNAS 较其它方法在搜索精度与速度方面具有良好的平衡。

    Jun, 2019

  • SNAS：随机神经结构搜索

    提出了随机神经架构搜索 (SNAS)，作为一种经济高效的神经架构搜索方案，它在同一次反向传播中训练神经操作参数和架构分布参数，同时保持 NAS 管道的完整性和可区分性。通过对单元搜索空间的联合分布的参数进行优化来重构 NAS，提出一种全新的搜索梯度，优化效果比基于强化学习的 NAS 更高，同时加入局部可分解奖励，以强制实施资源有效约束，最终在 CIFAR-10 数据集上得到了业界领先的准确性。

    Dec, 2018