关于神经架构搜索的延迟预测器
本文提出了一种基于零成本代理的搜索空间无关神经网络编码方法,以实现对多个任务、搜索空间和硬件设备的准确性和延迟预测进行多任务、多搜索空间和多硬件的自适应,从而在提高端到端样本效率方面取得了显著的效果。
Jun, 2023
通过在优化中添加可微延迟损失项,使搜索过程能够在准确性和延迟之间进行权衡,并通过延迟预测的核心来实现,该核心将每个网络架构编码并馈送到多层回归器中。我们的方法能够降低 20%的延迟同时保持准确性,且易于转移到其他硬件平台或其他不能微分的因素上进行优化。
Jan, 2020
提出了 Hardware-adaptive Efficient Latency Predictor (HELP) 作为一种基于元学习的硬件自适应延迟预测方法,帮助神经架构搜索确定适用于目标设备的模型,并在延迟限制下提高了基础 NAS 方法的时间性能。
Jun, 2021
本文提出一种基于延迟单调性的硬件感知神经架构搜索方法,通过利用搜索的代理设备在新设备上的可重用性和代理适应技术显著提高了单调性,仅使用一个代理设备即可找到接近 Pareto 最优架构,避免了为每个设备构建延迟预测器的高昂成本。
Nov, 2021
本篇论文提出了一种基于 MAPLE-X 的 DNN 延迟估计技术,它将显式先验知识与硬件设备和 DNN 架构延迟结合,以更好地考虑模型稳定性和鲁棒性,并在嵌入式视觉应用程序的 Intel 处理器等不同类型的设备上获得 5%的 MAPLE 改进和 9%的 HELP 改进。
May, 2022
本研究评估了 31 种不同的神经架构搜索性能预测器,测试了多种性能衡量方法以及它们在加速基于预测的 NAS 框架方面的有效性,结果表明有些预测器组合可以实现更好的预测能力,并提供了不同设置下最佳预测器的建议。
Apr, 2021
提出了一种基于图卷积网络(GCN)的性能预测器,用于实现高效的硬件感知神经架构搜索(BRP-NAS)。与以往的方法不同,该方法重视模型之间的二元关系和迭代数据选择策略,实现了更高效的样本利用率。研究表明,该方法在多项飞行器搜索领域中的性能表现均优于现有方法,并呼吁人们重视准确的时延估计。
Jul, 2020
该研究提出了一种新的深度神经网络准确性预测器,可以预测未知输入数据集的分类性能,在不需要任何训练的情况下,在单个 GPU 上每秒超过 100 个网络,大规模架构搜索只需要几分钟。
Jun, 2018
本论文提出了 MAPLE-Edge,一个边缘设备定向的 MAPLE 扩展版本,它通过使用硬件 - 运行时描述符,训练架构 - 延迟回归网络来实现对边缘设备的延迟预测,与 MAPLE 相比,MAPLE-Edge 可以使用更少的 CPU 性能计数器来描述运行时和目标设备平台。同时,MAPLE-Edge 表现出比现有方法更高的延迟预测精度,并且可以很好地推广到跨运行时的设备。此外,作者还证明了通过从目标设备收集额外的样本,可以提高算法的性能。
Apr, 2022