多目标可微分神经架构搜索

Feb, 2024

Multi-objective Differentiable Neural Architecture Search

Rhea Sanjay Sukthanker, Arber Zela, Benedikt Staffler, Samuel Dooley, Josif Grabocka...

TL;DR我们提出了一种新的神经架构搜索算法，通过超网络对设备和多个目标进行参数化和条件化，实现了性能和硬件度量之间的权衡，并在一次搜索中获得多设备上的具有代表性和多样性的架构。在高达 19 个硬件设备和 3 个目标的大量实验证明了方法的有效性和可扩展性。最后，我们证明在不增加额外成本的情况下，我们的方法在不同搜索空间和数据集上优于现有的多目标优化神经架构搜索方法，包括 ImageNet-1k 上的 MobileNetV3 和机器翻译中的 Transformer 空间。

Abstract

pareto front profiling in multi-objective optimization (MOO), i.e. finding a diverse set of Pareto optimal solutions, is challenging, especially with expensive objectives like neural network training. Typically,

pareto front profiling multi-objective optimization neural architecture search user preferences hypernetwork

发现论文，激发创造

学习搜索空间分割的多目标神经架构搜索

使用 LaMOO 优化算法在神经架构搜索任务中取得了超过 200% 的样本效率提升，并在 CIFAR10 数据集上以仅 600 个搜索样本实现了 97.36% 的准确率和仅 1.62M 参数，以及在 ImageNet 数据集上仅使用 522M 浮点操作数实现了 80.4% 的 top-1 准确率。

Jun, 2024

面向 Pareto - 最优设备感知神经网络架构的搜索

本文介绍了神经架构搜索的问题，并调研了最近的研究成果。然后，我们深入探讨了两项对 NAS 进行多目标框架扩展的最新进展：MONAS 和 DPP-Net。MONAS 和 DPP-Net 都能够优化精度和设备带入的其他目标，寻找可以在广泛设备上最好部署的神经架构。实验结果显示，MONAS 和 DPP-Net 找到的架构在各种设备上均达到了 Pareto 最优性。

Aug, 2018

基于深度多目标学习的可扩展 Pareto 前沿逼近

本研究提出一种直接在特征空间中根据偏好条件来调整神经网络的多目标优化方法，通过对解决方案进行惩罚来维持小角度到偏好向量的方法确保了良好分布的 Pareto 曲线，实验证明我们的 Pareto 前缘尽管计算速度显著更快，但也达到了业内最先进的质量，并展示了其可扩展性。

Mar, 2021

多目标硬件感知神经架构搜索利用硬件成本多样性

提出了一种名为 MO-HDNAS 的多目标方法，通过优化三个目标（最大化表示相似度度量、最小化硬件成本和最大化硬件成本的多样性）在单次运行中以低计算成本的方式，识别出一组权衡的架构，有效地解决了适用于图像分类任务的硬件感知神经架构搜索问题。

Apr, 2024

多目标神经架构搜索调查

该研究论文总结了多目标神经架构搜索（MONAS）领域的重要工作，并讨论了神经架构搜索的分类方法、目标函数及其随机性对多目标优化过程的影响，并提出了未来研究的方向。

Jul, 2023

多目标进化神经架构搜索用于递归神经网络

基于多目标进化算法的循环神经网络架构搜索方法在复杂度优化期间使用近似网络形态学，结果显示该方法能够找到与最先进手动设计的循环神经网络架构相比具有可比性能但计算需求较低的新型循环神经网络架构。

Mar, 2024

多目标联合神经网络架构搜索和超参数优化的基线包

本文介绍了一种同时进行神经结构搜索和超参数优化的多目标优化方法，以在训练深度学习模型时提高其性能和效率。

May, 2021

PNAS-MOT: 多模态物体跟踪的帕累托神经结构搜索

多目标跟踪是自动驾驶中的关键任务。本文采用神经架构搜索（NAS）方法寻找低实时延迟、相对高准确度的高效跟踪架构。同时，提出多模态框架以提高鲁棒性，并通过实验证明算法可以在边缘设备上运行，从而大大降低多模态跟踪的计算需求和延迟。

Mar, 2024

神经网络多目标贝叶斯优化的增强随机搜索

本文提出一种新的基于强化学习的方法来优化在小型设备上部署的深度神经网络，以便在保持预测精度的同时最小化内存占用和计算复杂度。实验结果表明，该方法在不同数据集和架构上均优于现有的多目标贝叶斯优化方法。

May, 2023

多硬件约束下增强神经架构搜索以在微型物联网设备上部署深度学习模型

提出了一种在单个标准训练时间内将用户定义的内存和延迟约束融入不同 iable NAS 优化方法的新方法，该方法在五个物联网相关基准测试中进行了评估，包括 MLPerf Tiny 套件和 Tiny ImageNet，在仅一次搜索中降低了内存和延迟分别达到 87.4% 和 54.2%，同时保证 TinyML 的最新手动调优深度神经网络的非劣性精度。

Oct, 2023