多硬件约束下增强神经架构搜索以在微型物联网设备上部署深度学习模型

Oct, 2023

多硬件约束下增强神经架构搜索以在微型物联网设备上部署深度学习模型

Enhancing Neural Architecture Search with Multiple Hardware Constraints for Deep Learning Model Deployment on Tiny IoT Devices

PDF

Alessio Burrello, Matteo Risso, Beatrice Alessandra Motetti, Enrico Macii, Luca Benini...

TL;DR提出了一种在单个标准训练时间内将用户定义的内存和延迟约束融入不同 iable NAS 优化方法的新方法，该方法在五个物联网相关基准测试中进行了评估，包括 MLPerf Tiny 套件和 Tiny ImageNet，在仅一次搜索中降低了内存和延迟分别达到 87.4% 和 54.2%，同时保证 TinyML 的最新手动调优深度神经网络的非劣性精度。

Abstract

The rapid proliferation of computing domains relying on internet of things (IoT) devices has created a pressing need for efficient and accurate deep-learning (DL) models that can run on low-power devices. However, traditional DL models tend to be too complex and computationally intensi

internet of things deep-learning models neural architecture search constraints iot-relevant benchmarks

发现论文，激发创造

搜索时间高效设备约束感知的神经架构搜索

边缘计算旨在使边缘设备（如物联网设备）能够在本地处理数据，而不是依赖云端。本文提出了一种基于 DCA-NAS 的快速神经网络架构搜索方法，该方法结合了边缘设备的约束条件，如模型大小和浮点运算，通过权重共享和通道瓶颈技术加快搜索速度，并发现了具有低推断延迟和最先进性能的特定设备架构。

Jul, 2023

硬件感知神经架构搜索的综合调查

该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

Jan, 2021

MicroNets: 用于在商用微控制器上部署 TinyML 应用的神经网络架构

本文介绍了机器学习在资源受限的微控制器上的应用，使用神经结构搜索算法来设计满足内存、延迟和能耗限制的模型，并通过可微分神经结构搜索算法搜索出了具有低内存使用和低操作计数的 MicroNet 模型，验证该文述方法在视觉唤醒词、音频关键词检测和异常检测等领域的优越性。

Oct, 2020

面向 Pareto - 最优设备感知神经网络架构的搜索

本文介绍了神经架构搜索的问题，并调研了最近的研究成果。然后，我们深入探讨了两项对 NAS 进行多目标框架扩展的最新进展：MONAS 和 DPP-Net。MONAS 和 DPP-Net 都能够优化精度和设备带入的其他目标，寻找可以在广泛设备上最好部署的神经架构。实验结果显示，MONAS 和 DPP-Net 找到的架构在各种设备上均达到了 Pareto 最优性。

Aug, 2018

关于资源受限硬件平台的神经架构搜索

提出了一种新的框架，用于在限制条件下寻找最优的量化神经架构并实现在给定的硬件规格上，该框架使用 FPGAs 来实现和测试设计并在 CIFAR10 任务中提高了 18％至 68％的准确性。

Oct, 2019

HQNAS: 联合量化和架构搜索的自动 CNN 部署框架

提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

Oct, 2022

SqueezeNAS：用于更快语义分割的快速神经架构搜索

本研究采用无代理的硬件感知搜索方法，针对密集的语义分割任务，实现了特定任务和推理硬件上优化的网络，并在 Cityscapes 语义分割数据集上实现了最先进的网络准确度优化，在 NVIDIA AGX Xavier 上实现了低于 100ms 推理时间的 73.62％的类 mIOU，并与最新的最先进架构进行了详细分析。

Aug, 2019

HardCoRe-NAS: 硬约束可微分神经架构搜索

通过引入 HardCoRe-NAS 方法，我们精确地满足了各种资源约束，并在不需要任何调整的情况下生成了具有 state-of-the-art 性能的架构。

Feb, 2021

面向点云网络的延迟有限神经结构搜索 LC-NAS

本研究提出了一个新的神经网络架构搜索框架 ——LC-NAS，该框架可以在指定延迟内搜索点云网络结构，并平衡了精度和延迟之间的权衡，实验结果表明，该框架在计算成本最小化的同时，能够找到具有最先进性能的点云分类体系结构。

Aug, 2020

用于内存计算的多目标神经架构搜索

我们使用神经架构搜索（NAS）方法，通过贝叶斯优化构建卷积神经网络（CNN）模型，以灵活适配的深度增强内存计算（IMC）架构上的多样机器学习（ML）任务的效率。通过在超过 6.4 亿网络配置的庞大搜索空间中探索贝叶斯搜索算法，我们验证了我们的 NAS 方法在 IMC 架构部署中取得高准确性、低延迟和能量消耗的平衡解的有效性，涵盖了三个不同的图像分类数据集。

Jun, 2024