Jul, 2023

搜索时间高效设备约束感知的神经架构搜索

PDF
TL;DR边缘计算旨在使边缘设备（如物联网设备）能够在本地处理数据，而不是依赖云端。本文提出了一种基于 DCA-NAS 的快速神经网络架构搜索方法，该方法结合了边缘设备的约束条件，如模型大小和浮点运算，通过权重共享和通道瓶颈技术加快搜索速度，并发现了具有低推断延迟和最先进性能的特定设备架构。
edge computingdeep learning architecturesneural architecture searchdca-nasdevice constraints
发现论文，激发创造
  • 多硬件约束下增强神经架构搜索以在微型物联网设备上部署深度学习模型

    提出了一种在单个标准训练时间内将用户定义的内存和延迟约束融入不同 iable NAS 优化方法的新方法，该方法在五个物联网相关基准测试中进行了评估，包括 MLPerf Tiny 套件和 Tiny ImageNet，在仅一次搜索中降低了内存和延迟分别达到 87.4% 和 54.2%，同时保证 TinyML 的最新手动调优深度神经网络的非劣性精度。

    Oct, 2023

  • DCNAS：用于语义图像分割的密集连接神经架构搜索

    本研究提出一种名为 Densely Connected NAS (DCNAS) 的神经架构搜索框架，通过连接细胞并使用可学习的权重来引入密集连接的搜索空间，并通过路径和通道级别的抽样策略设计一个融合模块来降低搜索空间的内存消耗。DCNAS 搜索算法得到的体系结构在公共语义图像分割基准测试中的表现显著优于先前算法。

    Mar, 2020

  • 面向 Pareto - 最优设备感知神经网络架构的搜索

    本文介绍了神经架构搜索的问题，并调研了最近的研究成果。然后，我们深入探讨了两项对 NAS 进行多目标框架扩展的最新进展：MONAS 和 DPP-Net。MONAS 和 DPP-Net 都能够优化精度和设备带入的其他目标，寻找可以在广泛设备上最好部署的神经架构。实验结果显示，MONAS 和 DPP-Net 找到的架构在各种设备上均达到了 Pareto 最优性。

    Aug, 2018

  • HQNAS: 联合量化和架构搜索的自动 CNN 部署框架

    提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

    Oct, 2022

  • 多样任务有效的架构搜索

    本文研究了基于神经架构搜索（NAS）的自动机器学习（AutoML）在计算机视觉以外的任务上的应用，作者提出了一种名为 DASH 的不同 iable NAS 算法，用于搜索卷积神经网络（CNN）的卷积核，实现了在多种应用领域上最先进的自动化性能。

    Apr, 2022

  • 硬件感知神经架构搜索的综合调查

    该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

    Jan, 2021

  • 面向点云网络的延迟有限神经结构搜索 LC-NAS

    本研究提出了一个新的神经网络架构搜索框架 ——LC-NAS，该框架可以在指定延迟内搜索点云网络结构，并平衡了精度和延迟之间的权衡，实验结果表明，该框架在计算成本最小化的同时，能够找到具有最先进性能的点云分类体系结构。

    Aug, 2020

  • HardCoRe-NAS: 硬约束可微分神经架构搜索

    通过引入 HardCoRe-NAS 方法，我们精确地满足了各种资源约束，并在不需要任何调整的情况下生成了具有 state-of-the-art 性能的架构。

    Feb, 2021

  • Single-Path NAS: 设备感知高效的 ConvNet 设计

    本文介绍了一种基于 Single-Path NAS 的新型可微分神经架构搜索方法，可以在移动设备延迟限制下设计高效的卷积神经网络，并实现了 Pixel 1 手机上的图像分类，取得了当前最先进的结果。

    May, 2019

  • SqueezeNAS：用于更快语义分割的快速神经架构搜索

    本研究采用无代理的硬件感知搜索方法，针对密集的语义分割任务，实现了特定任务和推理硬件上优化的网络，并在 Cityscapes 语义分割数据集上实现了最先进的网络准确度优化，在 NVIDIA AGX Xavier 上实现了低于 100ms 推理时间的 73.62％的类 mIOU，并与最新的最先进架构进行了详细分析。

    Aug, 2019