Intel Movidius VPU 的神经架构搜索
提出一种硬件感知量化神经架构搜索 (HQNAS) 框架,将神经结构搜索和量化方法结合,通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间,能发现出卓越的 NN 策略。同时,我们的方法支持在线学习和持续适应环境。
Oct, 2022
本文提出了一种新的硬件感知神经结构搜索框架,旨在优化目标平台上的任务精度、推理延迟和资源利用。通过使用该框架和新的资源利用模型,我们在 CIFAR-10 和 Imagenet-100 数据集上实现了 2.8-4 倍的 DNN 推理加速,并获得了与以往硬件感知神经结构搜索方法相似或更好的图像分类精度。
Mar, 2022
本文提出了一种快速 NPU 感知的 NAS 方法 S3NAS,通过超网设计、单路径 NAS 和扩展这三步实现在给定延迟限制下寻找具有更高准确性的 CNN 结构,通过该方法,在 3 小时内使用 TPUv3 找到了一种具有 82.72% Top-1 准确度和 11.66 毫秒延迟的网络。
Sep, 2020
提出了一种新的框架,用于在限制条件下寻找最优的量化神经架构并实现在给定的硬件规格上,该框架使用 FPGAs 来实现和测试设计并在 CIFAR10 任务中提高了 18%至 68%的准确性。
Oct, 2019
该论文综述了当前关于硬件感知神经架构搜索的研究,包括搜索空间,搜索策略,加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂,导致在 IoT,移动和嵌入式系统等资源受限的平台上部署困难的问题,并讨论了相关算法及策略的挑战和局限性,同时为未来的研究提供参考,这是首篇针对硬件感知神经架构搜索的论文综述。
Jan, 2021
运用神经结构搜索技术 (NAS), 我们为视觉姿态估计任务自动确定了几个帕累托最优的卷积神经网络 (CNNs), 以适应小型 UAV 硬件限制的特点,展示了现实生活中多个 NAS 优化的 CNNs 可以在 27 克的 Crazyflie 纳米 UAV 上运行,并通过降低 32%的实地控制误差,具有实时的推断速率~10Hz@10mW 和~50Hz@90mW,从而进一步优化了 CNNs。
Mar, 2023
本文针对神经架构搜索中硬件多样性挑战和在广泛硬件上设计精确有效的卷积神经体系结构领域的挑战,提出了一种基于自动硬件感知搜索的两阶段搜索算法 HURRICANE。在 ImageNet 上的实验结果表明,该算法在相同延迟限制下,优于现有的基于硬件感知神经架构搜索方法,并且发现的架构比当前最先进的高效模型具有更低的延迟和更高的准确性。
Oct, 2019
本研究采用无代理的硬件感知搜索方法,针对密集的语义分割任务,实现了特定任务和推理硬件上优化的网络,并在 Cityscapes 语义分割数据集上实现了最先进的网络准确度优化,在 NVIDIA AGX Xavier 上实现了低于 100ms 推理时间的 73.62%的类 mIOU,并与最新的最先进架构进行了详细分析。
Aug, 2019
我们提出了一种新颖的神经架构搜索方法 ViPNAS,用于快速在线视频姿势估计,通过在空间和时间级别上搜索网络来实现更好的准确度和效率之间的权衡。在时间级别上,我们首次搜索了视频中的时间特征融合和自动计算分配。我们的实验结果表明,我们的方法在 CPU 实时推导速度方面比先前的最先进方法快而不牺牲准确性。
May, 2021
本文介绍了一种基于 Single-Path NAS 的新型可微分神经架构搜索方法,可以在移动设备延迟限制下设计高效的卷积神经网络,并实现了 Pixel 1 手机上的图像分类,取得了当前最先进的结果。
May, 2019