Jan, 2021

硬件感知神经架构搜索的综合调查

PDF
TL;DR该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。
neural architecture searchdeep learning architectureshardware-aware nasoptimization algorithmsresource-limited platforms
发现论文，激发创造
  • 神经网络结构搜索的综合调查：挑战与解决方案

    本文对神经网络结构自动设计的算法 —— 神经架构搜索进行了全面的综述与研究，提出了对早期算法的问题的总结和解决方案，并对这些工作进行了详细的比较和总结。文章最后给出了可能的未来研究方向。

    Jun, 2020

  • 多目标硬件感知神经架构搜索利用硬件成本多样性

    提出了一种名为 MO-HDNAS 的多目标方法，通过优化三个目标（最大化表示相似度度量、最小化硬件成本和最大化硬件成本的多样性）在单次运行中以低计算成本的方式，识别出一组权衡的架构，有效地解决了适用于图像分类任务的硬件感知神经架构搜索问题。

    Apr, 2024

  • HW-NAS-Bench: 硬件感知神经架构搜索基准

    本研究提出了一个名为 HW-NAS-Bench 的数据集，该数据集包含了网络搜索空间中所有网络的硬件性能表现数据，并对其进行了综合分析。与通用 NAS 相似，硬件感知神经架构搜索（HW-NAS）是一项需要大量计算资源和硬件设备的研究任务。本数据集让硬件不熟悉的研究者也能参与 HW-NAS 研究，并证明专门针对特定设备进行的 HW-NAS 确实可以导致最佳的准确性 - 成本平衡。

    Mar, 2021

  • 卷积网络的神经结构搜索简介

    本文介绍了神经架构搜索的基本概念以及搜索空间、算法和评估技术的主要进展。

    May, 2020

  • HQNAS: 联合量化和架构搜索的自动 CNN 部署框架

    提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

    Oct, 2022

  • 最佳结合：CNN 及其硬件加速器的 AutoML 协同设计

    本研究利用神经网络结构搜索技术，并联合考虑卷积神经网络模型和硬件加速器的参数，实现自动化的硬件 - 卷积神经网络代码设计。此方法能有效提高分类精度和效率，显著优于现有设计，本研究着重于在代码设计空间中进行多目标优化问题的定义以及探索使用强化学习的搜索策略，使得在 1000 个 GPU 小时内，相比于 ResNet 在优化硬件加速器情况下在 CIFAR-100 分类准确率上提高了 1.3％，同时提高了 41％的性能 / 面积比。

    Feb, 2020

  • 1000 篇论文中的神经架构搜索 Insights

    过去十年，深度学习的发展在计算机视觉、自然语言理解、语音识别和强化学习等多个领域取得了重大突破。神经架构搜索是自动化机器学习的必然发展方向，已经在很多任务上超过了最好的人类设计架构。本文概述不同的搜索空间、算法和加速技术，并介绍了基准、最佳实践、其他综述和开放源代码库。

    Jan, 2023

  • 神经架构搜索的搜索阶段评估

    本篇论文研究了神经架构搜索中搜索策略的有效性，并比较了 NAS 搜索策略与随机体系结构选择的质量，发现当前优秀的 NAS 算法与随机策略表现相似，并且广泛使用的权重共享策略降低了 NAS 候选项的排名。通过该研究，期望设计出更为优越的 NAS 策略和创造一一种新的评估框架。

    Feb, 2019

  • 高效神经网络架构搜索空间定义的方法

    在这篇论文中，我们提出了一种新颖的基于细胞的分层搜索空间，易于理解和操作，旨在优化搜索时间并且足够通用，可以处理大多数卷积神经网络的最先进架构。

    Oct, 2023

  • 关于资源受限硬件平台的神经架构搜索

    提出了一种新的框架，用于在限制条件下寻找最优的量化神经架构并实现在给定的硬件规格上，该框架使用 FPGAs 来实现和测试设计并在 CIFAR10 任务中提高了 18％至 68％的准确性。

    Oct, 2019