May, 2022

MAPLE-X: 显式微处理器先验知识下的延迟预测

PDF
TL;DR本篇论文提出了一种基于 MAPLE-X 的 DNN 延迟估计技术，它将显式先验知识与硬件设备和 DNN 架构延迟结合，以更好地考虑模型稳定性和鲁棒性，并在嵌入式视觉应用程序的 Intel 处理器等不同类型的设备上获得 5％的 MAPLE 改进和 9％的 HELP 改进。
deep neural networklatency estimationhardware performance countersmodel stabilityrobustness
发现论文，激发创造
  • MAPLE-Edge：用于边缘设备的运行时延迟预测器

    本论文提出了 MAPLE-Edge，一个边缘设备定向的 MAPLE 扩展版本，它通过使用硬件 - 运行时描述符，训练架构 - 延迟回归网络来实现对边缘设备的延迟预测，与 MAPLE 相比，MAPLE-Edge 可以使用更少的 CPU 性能计数器来描述运行时和目标设备平台。同时，MAPLE-Edge 表现出比现有方法更高的延迟预测精度，并且可以很好地推广到跨运行时的设备。此外，作者还证明了通过从目标设备收集额外的样本，可以提高算法的性能。

    Apr, 2022

  • 关于神经架构搜索的延迟预测器

    通过硬件感知的神经架构搜索，预训练和迁移学习方法来改进神经网络的部署效率，并提出了综合性的延迟预测模型，能够有效地提高硬件延迟预测的准确性。

    Mar, 2024

  • 延迟感知的可微神经架构搜索

    通过在优化中添加可微延迟损失项，使搜索过程能够在准确性和延迟之间进行权衡，并通过延迟预测的核心来实现，该核心将每个网络架构编码并馈送到多层回归器中。我们的方法能够降低 20％的延迟同时保持准确性，且易于转移到其他硬件平台或其他不能微分的因素上进行优化。

    Jan, 2020

  • 多预测：用于高效神经架构搜索的少样本预测器

    本文提出了一种基于零成本代理的搜索空间无关神经网络编码方法，以实现对多个任务、搜索空间和硬件设备的准确性和延迟预测进行多任务、多搜索空间和多硬件的自适应，从而在提高端到端样本效率方面取得了显著的效果。

    Jun, 2023

  • 硬件适应元学习在 NAS 中用于高效延迟预测的帮助

    提出了 Hardware-adaptive Efficient Latency Predictor (HELP) 作为一种基于元学习的硬件自适应延迟预测方法，帮助神经架构搜索确定适用于目标设备的模型，并在延迟限制下提高了基础 NAS 方法的时间性能。

    Jun, 2021

  • 面向可适应优化算法的灵活准确性导向深度学习模块推断延迟预测框架

    深度学习模型推理延迟预测的新框架和新方法 MEDN 在综合实验中展现了较高的准确性和 R 方值。

    Dec, 2023

  • 硬件感知机器学习：建模与优化

    本篇论文全面评估现有的面向硬件的深度学习模型建模和优化方法，提出几个值得探讨的研究方向，旨在让深度学习的应用对硬件系统和平台产生显著影响。

    Sep, 2018

  • 一台代理设备足矣：面向硬件的神经架构搜索

    本文提出一种基于延迟单调性的硬件感知神经架构搜索方法，通过利用搜索的代理设备在新设备上的可重用性和代理适应技术显著提高了单调性，仅使用一个代理设备即可找到接近 Pareto 最优架构，避免了为每个设备构建延迟预测器的高昂成本。

    Nov, 2021

  • 多硬件约束下增强神经架构搜索以在微型物联网设备上部署深度学习模型

    提出了一种在单个标准训练时间内将用户定义的内存和延迟约束融入不同 iable NAS 优化方法的新方法，该方法在五个物联网相关基准测试中进行了评估，包括 MLPerf Tiny 套件和 Tiny ImageNet，在仅一次搜索中降低了内存和延迟分别达到 87.4% 和 54.2%，同时保证 TinyML 的最新手动调优深度神经网络的非劣性精度。

    Oct, 2023

  • MicroNets: 用于在商用微控制器上部署 TinyML 应用的神经网络架构

    本文介绍了机器学习在资源受限的微控制器上的应用，使用神经结构搜索算法来设计满足内存、延迟和能耗限制的模型，并通过可微分神经结构搜索算法搜索出了具有低内存使用和低操作计数的 MicroNet 模型，验证该文述方法在视觉唤醒词、音频关键词检测和异常检测等领域的优越性。

    Oct, 2020