Aug, 2018

面向 Pareto - 最优设备感知神经网络架构的搜索

PDF
TL;DR本文介绍了神经架构搜索的问题，并调研了最近的研究成果。然后，我们深入探讨了两项对 NAS 进行多目标框架扩展的最新进展：MONAS 和 DPP-Net。MONAS 和 DPP-Net 都能够优化精度和设备带入的其他目标，寻找可以在广泛设备上最好部署的神经架构。实验结果显示，MONAS 和 DPP-Net 找到的架构在各种设备上均达到了 Pareto 最优性。
neural architectural searchmultiple-objective frameworksmonasdpp-netpareto optimality
发现论文，激发创造
  • DPP-Net: 设备感知渐进式搜索 Pareto - 最优神经网络架构

    提出了一种名为 DPP-Net 的优化神经体系结构架构的方法，能够同时考虑设备相关和设备不相关目标，通过实验结果证明其在各种不同设备上比其他相似方法更有效。

    Jun, 2018

  • 多目标神经架构搜索调查

    该研究论文总结了多目标神经架构搜索（MONAS）领域的重要工作，并讨论了神经架构搜索的分类方法、目标函数及其随机性对多目标优化过程的影响，并提出了未来研究的方向。

    Jul, 2023

  • 多目标可微分神经架构搜索

    我们提出了一种新的神经架构搜索算法，通过超网络对设备和多个目标进行参数化和条件化，实现了性能和硬件度量之间的权衡，并在一次搜索中获得多设备上的具有代表性和多样性的架构。在高达 19 个硬件设备和 3 个目标的大量实验证明了方法的有效性和可扩展性。最后，我们证明在不增加额外成本的情况下，我们的方法在不同搜索空间和数据集上优于现有的多目标优化神经架构搜索方法，包括 ImageNet-1k 上的 MobileNetV3 和机器翻译中的 Transformer 空间。

    Feb, 2024

  • 硬件感知神经架构搜索的综合调查

    该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

    Jan, 2021

  • 多硬件约束下增强神经架构搜索以在微型物联网设备上部署深度学习模型

    提出了一种在单个标准训练时间内将用户定义的内存和延迟约束融入不同 iable NAS 优化方法的新方法，该方法在五个物联网相关基准测试中进行了评估，包括 MLPerf Tiny 套件和 Tiny ImageNet，在仅一次搜索中降低了内存和延迟分别达到 87.4% 和 54.2%，同时保证 TinyML 的最新手动调优深度神经网络的非劣性精度。

    Oct, 2023

  • 搜索时间高效设备约束感知的神经架构搜索

    边缘计算旨在使边缘设备（如物联网设备）能够在本地处理数据，而不是依赖云端。本文提出了一种基于 DCA-NAS 的快速神经网络架构搜索方法，该方法结合了边缘设备的约束条件，如模型大小和浮点运算，通过权重共享和通道瓶颈技术加快搜索速度，并发现了具有低推断延迟和最先进性能的特定设备架构。

    Jul, 2023

  • MONAS: 使用强化学习进行多目标神经架构搜索

    提出了一种基于多目标奖励函数的神经网络架构搜索框架 MONAS，可以用来优化神经网络预测准确率，同时满足功耗等其他重要目标。实验结果表明，与现有技术相比，使用 MONAS 找到的模型可以在计算机视觉应用中获得相当或更好的分类准确性，同时满足功耗等其他重要目标。

    Jun, 2018

  • DSNAS: 无需参数微调的直接神经结构搜索

    通过提出基于任务的端到端的 NAS 方法定义，我们提出了 DSNAS，一个高效的可微分 NAS 框架，不仅可以同时优化架构和参数，而且还可以减少模型训练时间，并在 ImageNet 数据集上达到了与现有方法同等的准确率。

    Feb, 2020

  • POPNASv2: 高效的多目标神经结构搜索技术

    本文介绍了 Pareto-Optimal Progressive Neural Architecture Search (POPNASv2) 方法，该方法在原有的基础上进行了改进，通过加入新操作符、改进预测模型、引入细胞等价检查机制以及自适应贪心探索策略等方法，实现了 PNAS 相似的性能，同时平均搜索时间快了 4 倍。

    Oct, 2022

  • PONAS: 面向高效部署的渐进式单次神经架构搜索

    通过一种表格构建技术，PONAS 基于进步式神经架构搜索（NAS）和一次性 NAS 方法相结合，以非常高效的方式设计符合不同硬件约束的神经网络架构，实验中 ImageNet 分类任务的 top-1 精度达到了 75.2%。

    Mar, 2020