共享内存冲突感知的异构片上系统并发 DNN 执行

Aug, 2023

共享内存冲突感知的异构片上系统并发 DNN 执行

Shared Memory-contention-aware Concurrent DNN Execution for Diversely Heterogeneous System-on-Chips

Ismet Dagli, Mehmet Belviranli

TL;DR本研究提出了一种名为 HaX-CoNN 的新方案，将并发执行的深度神经网络推理工作负载的层映射到系统级芯片内的多种异构加速器，以最小化内存争用并提升工作负载的延迟和总体吞吐量。实验结果表明，与最先进的方法相比，HaX-CoNN 可将内存争用降低最多 45%，延迟和总体吞吐量分别提高最多 32% 和 29%。

Abstract

Two distinguishing features of state-of-the-art mobile and autonomous systems are 1) there are often multiple workloads, mainly deep neural network (DNN) inference, running concurrently and continuously; and 2) they operate on shared memory system-on-chips (SoC) that embed heterogeneou

mobile and autonomous systems dnn inference resource management techniques shared memory system-on-chips hax-conn

发现论文，激发创造

面向 DNN 推理的多加速器平台的精度感知延迟和能耗平衡

该研究提出 ODiMO，是一种硬件感知工具，用于精细映射芯片上的不同加速器，以并行执行 DNN 的不同层，从而降低推理能量消耗或延迟。在三个流行的数据集 / DNN 对上追求在精度与能量或延迟空间中 Pareto 最优网络，在 DIANA 异构超低功耗边缘 AI SoC 上部署后，ODiMO 将能量 / 延迟降低了 33％/31％，而精度下降有限（-0.53％/-0.32％），与手动启发式映射相比。

Jun, 2023

移动 / 嵌入式设备高效推理的动态深度神经网络和运行时管理

深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

Jan, 2024

通过多级原位生成实现内存高效神经网络

本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

Aug, 2021

MoCA: 面向内存、适应性执行的多租户深度神经网络

本文提出了一个基于 MoCA 的自适应多租户系统，该系统通过动态管理共享内存资源来实现不同深度神经网络的优化部署，以提高系统利用率并减少质量服务的下降，通过实验证明 MoCA 可以显著提高服务等级协议的满意度和系统效率，同时减少负载抢占的情况。

May, 2023

为减少 DNN 加速器的片外数据访问而结合调度、内存分配和张量替换

通过一个名为 COSMA 的优化框架，我们能够在专用硬件加速器上为 DNNs 找到最佳的操作调度、内存分配和张量替换方式，从而最小化额外数据访问，同时通过分而治之的启发式方法可以将复杂 DNNs 的数据访问降低 85% 以上。

Nov, 2023

神经异构调度器

本研究使用深度强化学习技术，提出了一种方法，在具备多种协处理器的异构 SoC 系统中智能地调度和学习任务流，实验结果表明，相比于传统的调度启发式算法，我们的强化学习系统在最小化执行时间方面提供了更好的选择。

Jun, 2019

ConfuciuX：使用强化学习实现 DNN 加速器的自主硬件资源分配

本文提出了一种称为 ConfuciuX 的自主策略，它利用强化学习方法和遗传算法优化硬件资源配置，以实现 DNN 加速器的效率最大化，收敛速度比其他技术快 4.7 到 24 倍。

Sep, 2020

HarDNet：一种低存储交通量的网络

本文研究了神经网络在高分辨率任务（如实时目标检测和语义分割）中的推理时间和内存访问流量之间的关系，提出了一个新的神经网络 ——Harmonic Densely Connected Network，在保证低 MACs 和低内存访问流量的前提下，较传统网络可以减少高达 45% 的推理时间。

Sep, 2019

DynO: 从云端到设备的深度神经网络动态加载

本文介绍了一个名为 DynO 的分布式推理框架，它结合了云端卸载计算和设备端计算的最佳优势，采用新颖的 CNN 数据打包方法和调度器，在运行时联合调整分区点和传输数据精度来适应执行环境，并且评估结果表明，DynO 优于当前最先进的系统，在设备端执行时提高吞吐量超过一个数量级，在竞争的 CNN 卸载系统中提高了 7.9 倍，并且传输的数据量减少了高达 60 倍。

Apr, 2021

MARS：在自适应多加速器系统上利用多层并行性优化 DNN 工作负载

基于深度神经网络的多加速器系统中，选择适当的加速器组合和高效的神经网络映射策略是一个具有挑战性的问题，我们提出了一个名为 MARS 的新型映射框架，可以执行计算感知的加速器选择，并应用通信感知的分片策略来最大化并行性，实验证明，与基准相比，MARS 可以平均减少 32.2% 的延迟，并且相对于对应的最先进方法，可以减少 59.4% 的异构模型的延迟。

Jul, 2023