Nov, 2023

为减少 DNN 加速器的片外数据访问而结合调度、内存分配和张量替换

PDF
TL;DR通过一个名为 COSMA 的优化框架，我们能够在专用硬件加速器上为 DNNs 找到最佳的操作调度、内存分配和张量替换方式，从而最小化额外数据访问，同时通过分而治之的启发式方法可以将复杂 DNNs 的数据访问降低 85% 以上。
specialized hardware acceleratorsdnnsoptimization frameworkcosmadata accesses
发现论文，激发创造
  • 使用 Halide 调度语言分析 DNN 加速器

    通过利用 Halide 的调度语言创建修改编译器以生成硬件，此研究研究了 DNN 加速器和它们的程序映射，并对现有的 DNN 加速器进行了形式上的分类，通过优化硬件资源分配，在保持吞吐量不变的情况下，可以取得 1.6~4.2 倍的能效提升。

    Sep, 2018

  • 面向 DNN 推理的多加速器平台的精度感知延迟和能耗平衡

    该研究提出 ODiMO，是一种硬件感知工具，用于精细映射芯片上的不同加速器，以并行执行 DNN 的不同层，从而降低推理能量消耗或延迟。在三个流行的数据集 / DNN 对上追求在精度与能量或延迟空间中 Pareto 最优网络，在 DIANA 异构超低功耗边缘 AI SoC 上部署后，ODiMO 将能量 / 延迟降低了 33％/31％，而精度下降有限（-0.53％/-0.32％），与手动启发式映射相比。

    Jun, 2023

  • 加速器驱动的数据排列在多核架构上最小化变压器运行时间

    提出了一种新颖的内存数据排列策略，通过硬件加速器的内核大小来有效减小芯片外数据访问，特别对于基于广义矩阵乘法（GEMM）的终端到终端变压器模型推理尤为有益。本研究通过在单核和多核系统中实现和评估提出的加速器驱动的数据排列方法，证明了该方法能够实现高达 2.8 倍的速度提升。

    Dec, 2023

  • MARS：在自适应多加速器系统上利用多层并行性优化 DNN 工作负载

    基于深度神经网络的多加速器系统中，选择适当的加速器组合和高效的神经网络映射策略是一个具有挑战性的问题，我们提出了一个名为 MARS 的新型映射框架，可以执行计算感知的加速器选择，并应用通信感知的分片策略来最大化并行性，实验证明，与基准相比，MARS 可以平均减少 32.2% 的延迟，并且相对于对应的最先进方法，可以减少 59.4% 的异构模型的延迟。

    Jul, 2023

  • CLSA-CIM: 计算内存架构中的跨层调度方法

    在本文中，我们介绍了一种适用于瓦片式计算内存架构的跨层调度算法 CLSA-CIM，通过将其与现有的权重映射策略相结合，与最先进的调度算法进行性能比较，提高了最多 17.9 倍的利用率，从而使整体速度提高了最多 29.2 倍。

    Jan, 2024

  • 基于深度强化学习的深度神经网络多租户多加速器系统的在线调度策略

    当前，云服务外包 DNNs 的趋势日益增长。本文介绍了一种针对多租户环境中 DNNs 在线调度的低开销深度强化学习算法 RELMAS，考虑了加速器的数据流异构性和内存带宽竞争问题，提高了服务提供商的硬件利用率并优化了服务水平协议满意率。在包含 Simba 和 Eyeriss 子加速器实例的多异构加速器系统上，与最先进的调度技术相比，在不同工作负载场景下，SLA 满意率提高了 173％，能源开销仅增加了不到 1.5％。

    Apr, 2024

  • Marvel: 面向空间加速器上的 DNN 运算符的数据中心编译器

    研究提出了用于生成各种 DNN 模型运算符在加速器计算和内存资源上的优化映射的编译器和其成本模型的有效性，使用 Maestro Data-Centric（MDC）记法，提供了 DNN 运算符的形式上的理解，提出了一种将映射转换为 MDC 记法的转换，并提出了一种将搜索空间分解为 off-chip 和 on-chip 子空间的解决方案。

    Feb, 2020

  • 共享内存冲突感知的异构片上系统并发 DNN 执行

    本研究提出了一种名为 HaX-CoNN 的新方案，将并发执行的深度神经网络推理工作负载的层映射到系统级芯片内的多种异构加速器，以最小化内存争用并提升工作负载的延迟和总体吞吐量。实验结果表明，与最先进的方法相比，HaX-CoNN 可将内存争用降低最多 45%，延迟和总体吞吐量分别提高最多 32% 和 29%。

    Aug, 2023

  • 从不同的候选者学习，在张量核上优化降低精度卷积程序

    这篇论文提出了一种基于 Tensor Core 和 MMA 指令的卷积操作优化方法，该方法通过自动调度探索线程块和 warp 尺寸的搜索空间，包括寄存器级 Packing 和布局优化等选项，使用学习算法找到最佳调度，从而比现有技术在 Tensor Core 上实现了大幅度加速。

    Feb, 2022

  • 利用 MAESTRO 的数据中心方法理解 DNN 数据流的重用性、性能和硬件成本

    本文提出了一种基于数据指令的指导方式，可以较为简洁地指定深度神经网络（DNN）加速器的数据流。制定一个优化的数据流对于发挥硬件设备的利用率和能量效率至关重要，但是对于数据流的选择和后果还存在理解不足的情况。基于 MAESTRO 成本模型，本文对所提方案进行了验证，并在硬件设计空间中进行了搜索。

    May, 2018