Feb, 2024
SONATA: 自适应硬件感知的神经架构搜索进化框架
SONATA: Self-adaptive Evolutionary Framework for Hardware-aware Neural Architecture Search
Halima Bouzidi, Smail Niar, Hamza Ouarnoughi, El-Ghazali Talbi
TL;DR最近的人工智能（AI）进展，由神经网络（NN）推动，在物联网（IoT）系统的受限环境中，要求创新的神经架构设计以平衡性能和效率。硬件感知神经架构搜索（HW-aware NAS）作为一种自适应策略自动化设计 NN 的方法显得具有吸引力，通过使用多目标优化方法（如进化算法）。然而，神经网络设计参数与硬件感知 NAS 优化目标之间的复杂关系仍然是一个未被充分研究的领域，忽视了有效利用这一知识来指导搜索过程的机会。此外，在搜索过程中产生的大量评估数据具有优化策略的改进和帕累托前沿近似的潜力。解决这些问题，我们提出了 SONATA，一种用于硬件感知 NAS 的自适应进化算法。我们的方法利用了通过基于树的代理模型和强化学习代理引导的自适应进化算子上学到的神经网络设计参数的重要性。具体而言，通过树状代理模型和强化学习代理，我们希望获得关于何时以及如何进行 NN 架构演化的知识。在 ImageNet-1k 数据集上对多种 NAS 搜索空间和硬件设备进行的全面评估显示了 SONATA 的优点，其精确度提高了 0.25％，延迟和能源的性能提高了 2.42 倍。我们的 SONATA 在与本地 NSGA-II 相比的 Pareto 支配上达到了 93.6％的优势，进一步说明了自适应进化算子在硬件感知 NAS 中的重要性。