本文提出了一种深度多模态神经网络架构搜索（MMnas）框架， 通过使用基于梯度的 NAS 算法，可以高效地学习不同任务的最佳架构，并设计了一个统一的编码器 - 解码器骨干网络，其中每个编码器或解码器块对应于从预定义的操作池中搜索出来的操作，以及面向不同多模态学习任务的特定头部。实验结果表明，MMnasNet 在三个多模态学习任务上显着优于现有的最先进方法，包括视觉问答、图像文本匹配和视觉定位。

Apr, 2020

该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

Jan, 2021

提出了一种名为 MO-HDNAS 的多目标方法，通过优化三个目标（最大化表示相似度度量、最小化硬件成本和最大化硬件成本的多样性）在单次运行中以低计算成本的方式，识别出一组权衡的架构，有效地解决了适用于图像分类任务的硬件感知神经架构搜索问题。

Apr, 2024

提出了一种在单个标准训练时间内将用户定义的内存和延迟约束融入不同 iable NAS 优化方法的新方法，该方法在五个物联网相关基准测试中进行了评估，包括 MLPerf Tiny 套件和 Tiny ImageNet，在仅一次搜索中降低了内存和延迟分别达到 87.4% 和 54.2%，同时保证 TinyML 的最新手动调优深度神经网络的非劣性精度。

Oct, 2023

MultiModN 通过融合多种数据类型的潜在表示，提供了对多个预测任务的实时反馈，解释性好且对缺失数据具有鲁棒性，同时不影响性能。

Sep, 2023

本文介绍了神经架构搜索的问题，并调研了最近的研究成果。然后，我们深入探讨了两项对 NAS 进行多目标框架扩展的最新进展：MONAS 和 DPP-Net。MONAS 和 DPP-Net 都能够优化精度和设备带入的其他目标，寻找可以在广泛设备上最好部署的神经架构。实验结果显示，MONAS 和 DPP-Net 找到的架构在各种设备上均达到了 Pareto 最优性。

Aug, 2018

提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

Oct, 2022

我们使用神经架构搜索（NAS）方法，通过贝叶斯优化构建卷积神经网络（CNN）模型，以灵活适配的深度增强内存计算（IMC）架构上的多样机器学习（ML）任务的效率。通过在超过 6.4 亿网络配置的庞大搜索空间中探索贝叶斯搜索算法，我们验证了我们的 NAS 方法在 IMC 架构部署中取得高准确性、低延迟和能量消耗的平衡解的有效性，涵盖了三个不同的图像分类数据集。

Jun, 2024

我们提出了一种名为 AutoFM 的神经架构搜索（NAS）框架，用于自动搜索对多样输入模态和融合策略进行编码的最佳模型架构，并在真实世界的多模式 EHR 数据和预测任务上进行了彻底实验，结果表明我们的框架不仅在现有最先进的方法上实现了显著的性能改进，还有效地发现了有意义的网络架构。

Jan, 2024

最近的人工智能（AI）进展，由神经网络（NN）推动，在物联网（IoT）系统的受限环境中，要求创新的神经架构设计以平衡性能和效率。硬件感知神经架构搜索（HW-aware NAS）作为一种自适应策略自动化设计 NN 的方法显得具有吸引力，通过使用多目标优化方法（如进化算法）。然而，神经网络设计参数与硬件感知 NAS 优化目标之间的复杂关系仍然是一个未被充分研究的领域，忽视了有效利用这一知识来指导搜索过程的机会。此外，在搜索过程中产生的大量评估数据具有优化策略的改进和帕累托前沿近似的潜力。解决这些问题，我们提出了 SONATA，一种用于硬件感知 NAS 的自适应进化算法。我们的方法利用了通过基于树的代理模型和强化学习代理引导的自适应进化算子上学到的神经网络设计参数的重要性。具体而言，通过树状代理模型和强化学习代理，我们希望获得关于何时以及如何进行 NN 架构演化的知识。在 ImageNet-1k 数据集上对多种 NAS 搜索空间和硬件设备进行的全面评估显示了 SONATA 的优点，其精确度提高了 0.25％，延迟和能源的性能提高了 2.42 倍。我们的 SONATA 在与本地 NSGA-II 相比的 Pareto 支配上达到了 93.6％的优势，进一步说明了自适应进化算子在硬件感知 NAS 中的重要性。

Feb, 2024