Jan, 2019

准确性与效率：通过 FPGA-Aware 神经架构搜索实现双赢

PDF
TL;DR本文提出了一种新的硬件感知的神经架构搜索框架，名为 FNAS，使用 Field Programmable Gate Arrays 作为车辆，通过性能抽象模型对神经架构进行快速剪枝，以保证满足实现规范的延迟，并在精度下降少于 1% 的情况下快速搜索到有效的架构。
neural architecture searchfield programmable gate arrayshardware-awarelatencyfpgas
发现论文，激发创造
  • 关于资源受限硬件平台的神经架构搜索

    提出了一种新的框架，用于在限制条件下寻找最优的量化神经架构并实现在给定的硬件规格上，该框架使用 FPGAs 来实现和测试设计并在 CIFAR10 任务中提高了 18％至 68％的准确性。

    Oct, 2019

  • FLASH：具有硬件优化的快速神经架构搜索

    FLASH 是一种快速的神经架构搜索方法，它在真实硬件平台上协同优化 DNN 的准确性和性能，并且该算法比现有最先进的方法具有超过四个数量级的加速，在嵌入式设备上，搜索时间不到 3 秒。

    Aug, 2021

  • 硬件感知神经架构搜索的综合调查

    该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

    Jan, 2021

  • HQNAS: 联合量化和架构搜索的自动 CNN 部署框架

    提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

    Oct, 2022

  • 细粒度神经架构搜索

    利用神经架构搜索和细粒化技术提出了一个可以在单个层内使用多种异构操作，甚至可以使用多种基本操作生成组合特征映射的框架。该框架可以通过随机梯度下降方法端到端地训练网络，并优化网络的资源利用效率。在大规模图像分类和图像超分辨率等计算机视觉任务中，该框架通过灵活的操作搜索和通道剪枝实现了最先进的性能。

    Nov, 2019

  • 神经结构的硬件 / 软件协同探索

    该研究提出了一种新颖的硬件和软件协同探索框架，用于高效的神经架构搜索。该框架同时探索体系结构搜索空间和硬件设计空间，旨在找到最佳的神经架构和硬件配置，以同时达到最大的测试精度和硬件效率。该方法通过强化学习控制器，可以在 ImageNet 数据集上实现比现有技术更高的吞吐量、节能和搜索效率

    Jul, 2019

  • FP-NAS: 快速概率神经架构搜索

    提出了一种自适应于分布熵的采样方法，从而实现快速的多元空间神经体系结构搜索，成为 FP-NAS。通过 FP-NAS，可以使搜索空间变得更大、更深、更准确，速度比其他方法快 2.1 倍 - 3.5 倍，并且可以直接搜索高达 1.0G FLOPS 的大模型，在数字图像分类方面表现出色。

    Nov, 2020

  • 神经网络结构和异质 ASIC 加速器设计的共同探索，针对多任务的目标

    该论文提出了一种名为 NASAIC 的框架来同时确定多个 DNN 架构和相关的异构 ASIC 加速器设计，以满足设计规范并最大限度地提高准确性。

    Feb, 2020

  • FOX-NAS: 快速、设备本地且可解释的神经架构搜索

    FOX-NAS 提出了一种基于模拟退火和多元回归的快速可解释性的预测方法，能较高效地量化并在边缘部署，实验结果显示 FOX-NAS 模型的性能优于其他流行的神经网络架构，获得了 2020 年低功耗计算机视觉挑战赛 (DSP 分类) 第三名。

    Aug, 2021

  • 神经架构搜索中的进化与效率：专家设计和自动优化之间的桥梁

    神经架构搜索（NAS）从手动设计到自动化，提供了全面的概述，强调其在不同领域中的应用，包括医学成像和自然语言处理。该文档详细介绍了从专家驱动设计到算法驱动过程的转变，探索了初步的方法，例如强化学习和进化算法。还讨论了计算需求和高效 NAS 方法的挑战，如可微分架构搜索和硬件感知 NAS。本文进一步阐述了 NAS 在计算机视觉、自然语言处理等领域的应用，展示了其在不同任务中优化神经网络架构的多样性和潜力。未来的方向和挑战包括计算效率和与新兴 AI 领域的整合，展示了 NAS 的动态特性和其朝着更复杂、高效的架构搜索方法的持续演化。

    Feb, 2024