Jul, 2019

神经结构的硬件 / 软件协同探索

PDF
TL;DR该研究提出了一种新颖的硬件和软件协同探索框架，用于高效的神经架构搜索。该框架同时探索体系结构搜索空间和硬件设计空间，旨在找到最佳的神经架构和硬件配置，以同时达到最大的测试精度和硬件效率。该方法通过强化学习控制器，可以在 ImageNet 数据集上实现比现有技术更高的吞吐量、节能和搜索效率
neural architecture searchhardware designefficiencypareto frontierreinforcement learning
发现论文，激发创造
  • 关于资源受限硬件平台的神经架构搜索

    提出了一种新的框架，用于在限制条件下寻找最优的量化神经架构并实现在给定的硬件规格上，该框架使用 FPGAs 来实现和测试设计并在 CIFAR10 任务中提高了 18％至 68％的准确性。

    Oct, 2019

  • 巨人的肩膀：硬件和神经网络架构热启动的协同搜索

    该论文提出了一种名为 HotNAS 的新颖框架，通过从现有的预训练模型（即模型库）开始，以 “热” 状态启动搜索过程，从而避免了漫长的训练时间，从而将搜索时间从 200 GPU 小时缩短为不到 3 GPU 小时。在 HotNAS 中，我们将硬件设计空间、神经体系结构搜索空间和压缩空间相互集成，以通过模型压缩来创建新的减少延迟的机会，而同时也带来了挑战。论文通过 ImageNet 数据集和 Xilinx FPGA 的实验表明，在 5ms 的时间约束下，HotNAS 生成的神经体系结构的 Top-1 和 Top-5 精度与现有的神经体系结构相比，可以实现高达 5.79% 和 3.97% 的精度提高。

    Jul, 2020

  • 重新思考神经网络结构与硬件加速器的共同设计

    本研究系统研究了协同设计神经网络架构和硬件加速器的重要性和策略，发现不同的使用场景会导致非常不同的搜索结果，研究表明联合搜索方法在所有延迟目标上始终优于以前的面向平台的神经体系结构搜索、手动设计的模型和最先进的 EfficientNet，可将边缘加速器的能源消耗降低高达 2 倍。

    Feb, 2021

  • 硬件感知神经架构搜索的综合调查

    该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

    Jan, 2021

  • 面向内存计算神经加速器的器件 - 电路 - 体系结构联合探索

    本研究提出跨层设计的 NACIM 框架，将计算在内存中的架构和硬件设计相结合，同时考虑设备差异和电路拓扑，旨在找到具有高网络精度和最大化硬件效率的最有效的神经架构，在存在设备变异的情况下准确率损失最小，能效高达 16.3 TOPs/W，相比不考虑设备变异的现有架构 NACIM 能够降低 76.44%。

    Oct, 2019

  • 准确性与效率：通过 FPGA-Aware 神经架构搜索实现双赢

    本文提出了一种新的硬件感知的神经架构搜索框架，名为 FNAS，使用 Field Programmable Gate Arrays 作为车辆，通过性能抽象模型对神经架构进行快速剪枝，以保证满足实现规范的延迟，并在精度下降少于 1% 的情况下快速搜索到有效的架构。

    Jan, 2019

  • HQNAS: 联合量化和架构搜索的自动 CNN 部署框架

    提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

    Oct, 2022

  • 神经加速器的硬件 / 软件学习式协同设计

    本文提出一种基于硬件 / 软件协同设计的新的约束贝叶斯优化框架，可以自动识别联合设计空间中的优化点，应用于各种神经模型，改善能量延迟产品的性能。

    Oct, 2020

  • FLASH：具有硬件优化的快速神经架构搜索

    FLASH 是一种快速的神经架构搜索方法，它在真实硬件平台上协同优化 DNN 的准确性和性能，并且该算法比现有最先进的方法具有超过四个数量级的加速，在嵌入式设备上，搜索时间不到 3 秒。

    Aug, 2021

  • 神经架构搜索中的进化与效率：专家设计和自动优化之间的桥梁

    神经架构搜索（NAS）从手动设计到自动化，提供了全面的概述，强调其在不同领域中的应用，包括医学成像和自然语言处理。该文档详细介绍了从专家驱动设计到算法驱动过程的转变，探索了初步的方法，例如强化学习和进化算法。还讨论了计算需求和高效 NAS 方法的挑战，如可微分架构搜索和硬件感知 NAS。本文进一步阐述了 NAS 在计算机视觉、自然语言处理等领域的应用，展示了其在不同任务中优化神经网络架构的多样性和潜力。未来的方向和挑战包括计算效率和与新兴 AI 领域的整合，展示了 NAS 的动态特性和其朝着更复杂、高效的架构搜索方法的持续演化。

    Feb, 2024