神经网络结构和异质 ASIC 加速器设计的共同探索,针对多任务的目标
本文提出了一种新的硬件感知的神经架构搜索框架,名为 FNAS,使用 Field Programmable Gate Arrays 作为车辆,通过性能抽象模型对神经架构进行快速剪枝,以保证满足实现规范的延迟,并在精度下降少于 1% 的情况下快速搜索到有效的架构。
Jan, 2019
该论文综述了当前关于硬件感知神经架构搜索的研究,包括搜索空间,搜索策略,加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂,导致在 IoT,移动和嵌入式系统等资源受限的平台上部署困难的问题,并讨论了相关算法及策略的挑战和局限性,同时为未来的研究提供参考,这是首篇针对硬件感知神经架构搜索的论文综述。
Jan, 2021
本研究系统研究了协同设计神经网络架构和硬件加速器的重要性和策略,发现不同的使用场景会导致非常不同的搜索结果,研究表明联合搜索方法在所有延迟目标上始终优于以前的面向平台的神经体系结构搜索、手动设计的模型和最先进的 EfficientNet,可将边缘加速器的能源消耗降低高达 2 倍。
Feb, 2021
该研究提出了一种新颖的硬件和软件协同探索框架,用于高效的神经架构搜索。该框架同时探索体系结构搜索空间和硬件设计空间,旨在找到最佳的神经架构和硬件配置,以同时达到最大的测试精度和硬件效率。该方法通过强化学习控制器,可以在 ImageNet 数据集上实现比现有技术更高的吞吐量、节能和搜索效率
Jul, 2019
提出了一种新的框架,用于在限制条件下寻找最优的量化神经架构并实现在给定的硬件规格上,该框架使用 FPGAs 来实现和测试设计并在 CIFAR10 任务中提高了 18%至 68%的准确性。
Oct, 2019
本研究利用神经网络结构搜索技术,并联合考虑卷积神经网络模型和硬件加速器的参数,实现自动化的硬件 - 卷积神经网络代码设计。此方法能有效提高分类精度和效率,显著优于现有设计,本研究着重于在代码设计空间中进行多目标优化问题的定义以及探索使用强化学习的搜索策略,使得在 1000 个 GPU 小时内,相比于 ResNet 在优化硬件加速器情况下在 CIFAR-100 分类准确率上提高了 1.3%,同时提高了 41%的性能 / 面积比。
Feb, 2020
FLASH 是一种快速的神经架构搜索方法,它在真实硬件平台上协同优化 DNN 的准确性和性能,并且该算法比现有最先进的方法具有超过四个数量级的加速,在嵌入式设备上,搜索时间不到 3 秒。
Aug, 2021
本文研究了基于神经架构搜索(NAS)的自动机器学习(AutoML)在计算机视觉以外的任务上的应用,作者提出了一种名为 DASH 的不同 iable NAS 算法,用于搜索卷积神经网络(CNN)的卷积核,实现了在多种应用领域上最先进的自动化性能。
Apr, 2022
本研究提出跨层设计的 NACIM 框架,将计算在内存中的架构和硬件设计相结合,同时考虑设备差异和电路拓扑,旨在找到具有高网络精度和最大化硬件效率的最有效的神经架构,在存在设备变异的情况下准确率损失最小,能效高达 16.3 TOPs/W,相比不考虑设备变异的现有架构 NACIM 能够降低 76.44%。
Oct, 2019
本论文提出一种名为 “神经结构和实现搜索(NAIS)” 的设计方法,该方法应用于深度神经网络 (DNN) 和实现优化方面,以提高开发生产率和效率。同时,论文还讨论了该方法在 FPGA 和 GPU 上的应用以及在自动驾驶领域的研究机会。
Nov, 2019