Jul, 2023

MARS：在自适应多加速器系统上利用多层并行性优化 DNN 工作负载

PDF
TL;DR基于深度神经网络的多加速器系统中，选择适当的加速器组合和高效的神经网络映射策略是一个具有挑战性的问题，我们提出了一个名为 MARS 的新型映射框架，可以执行计算感知的加速器选择，并应用通信感知的分片策略来最大化并行性，实验证明，与基准相比，MARS 可以平均减少 32.2% 的延迟，并且相对于对应的最先进方法，可以减少 59.4% 的异构模型的延迟。
deep neural networksmulti-accelerator systemsaccelerator selectioncomputation-aware mappingcommunication-aware sharding
发现论文，激发创造
  • DEAP：DNN 加速器并行性的设计空间探索

    这篇论文展示了硬件和软件的协同设计如何为特定的大型语言模型工作负载创建定制的硬件系统，通过模型并行技术和多加速器仿真框架实现效率度量，重点关注推理工作负载并报告多种软硬件配置下的功耗、周期和延迟度量。

    Dec, 2023

  • Saturn：面向大规模模型深度学习工作负载的优化数据系统

    大型语言模型与模型并行化的信息系统架构（SPASE）降低了模型选择运行时间。

    Sep, 2023

  • 面向 DNN 推理的多加速器平台的精度感知延迟和能耗平衡

    该研究提出 ODiMO，是一种硬件感知工具，用于精细映射芯片上的不同加速器，以并行执行 DNN 的不同层，从而降低推理能量消耗或延迟。在三个流行的数据集 / DNN 对上追求在精度与能量或延迟空间中 Pareto 最优网络，在 DIANA 异构超低功耗边缘 AI SoC 上部署后，ODiMO 将能量 / 延迟降低了 33％/31％，而精度下降有限（-0.53％/-0.32％），与手动启发式映射相比。

    Jun, 2023

  • 基于深度强化学习的深度神经网络多租户多加速器系统的在线调度策略

    当前，云服务外包 DNNs 的趋势日益增长。本文介绍了一种针对多租户环境中 DNNs 在线调度的低开销深度强化学习算法 RELMAS，考虑了加速器的数据流异构性和内存带宽竞争问题，提高了服务提供商的硬件利用率并优化了服务水平协议满意率。在包含 Simba 和 Eyeriss 子加速器实例的多异构加速器系统上，与最先进的调度技术相比，在不同工作负载场景下，SLA 满意率提高了 173％，能源开销仅增加了不到 1.5％。

    Apr, 2024

  • SCAR: 在异构多芯片模块加速器上调度多模型 AI 工作负载

    最近的大规模语言模型等新型大规模混合模态工作负载大大增加了硬件的计算和内存需求。为了应对不断增长的需求，设计可扩展的硬件架构成为一个关键问题。在最近的解决方案中，基于 2.5D 硅互联器多芯片模块（MCM）的人工智能加速器已被广泛探索，由于其在低工程成本和可组合性方面具有显著优势。然而，以前的 MCM 加速器是基于具有固定数据流的同构架构，对于高度异构的多模型工作负载存在重大挑战，因为它们的工作负载适应性有限。因此，在本研究中，我们探索了采用异构数据流 MCM 人工智能加速器的机会。我们确定了在异构数据流 MCM 人工智能加速器上进行多模型工作负载调度是一个重要且具有挑战性的问题，由于其重要性和规模，即使在 6x6 芯片的单模型情况下，也达到 O（10 ^ 18）规模。我们开发了一组启发式方法来遍历巨大的调度空间，并将它们整理成具有高级技术（如芯片间流水线）的调度器。我们对十种多模型工作负载场景进行的评估（包括数据中心多租户和增强现实 / 虚拟现实应用）显示了我们方法的有效性，相比于同构基线，平均能减少 35.3% 和 31.4% 的能量 - 延迟产品（EDP）。

    May, 2024

  • MAD Max 超越单节点：在分布式系统上加速大规模机器学习模型

    基于真实世界的大规模模型训练和数据中心规模基础设施，我们展示了 14~32% 的 GPU 时间用于非重叠计算的通信。为了最小化未完成的通信延迟，在这项工作中，我们开发了一个灵活的性能建模框架来指导并行化和硬件软件共同设计策略。通过使用现代 GPU 训练硬件上的真实大规模 ML 模型套件，我们分别展示了预训练和推理场景的 2.24 倍和 5.27 倍的吞吐量提升潜力。

    Oct, 2023

  • 面向下一代 AI 系统的多 DNN 加速器

    研究了使用 AI 技术的多个领域，阐述了深度神经网络的重要性以及针对多模态数据并发处理的多模型或并行 DNN 的管道，提出了新一代 AI 系统将具有多 DNN 工作负载的核心，需要计算机架构的额外突破，能够在 DNN 数量增加时仍保持高性能，同时满足服务质量要求，因此提出了多 DNN 加速器设计的主题。

    May, 2022

  • 一个基于机器学习加速器的开源全栈优化框架

    参数化机器学习加速器可通过硬件加速深度神经网络和非神经网络的机器学习算法进行设计空间探索，其中采用了物理设计驱动的学习预测框架，结合后端功耗、性能和面积分析以及前端性能模拟，实现了对后端 PPA 和运行时能耗等系统指标的真实估计，并引入了完全自动化的设计空间探索技术，通过对架构和后端参数的自动搜索来优化后端和系统指标。实验结果表明，该方法在两种深度学习加速器平台（VTA 和 VeriGOOD-ML）的 ASIC 实现中，无论是商业 12 纳米工艺还是研究导向的 45 纳米工艺，都能以平均 7％或更低的预测误差一致准确地预测后端 PPA 和系统指标。

    Aug, 2023

  • 为减少 DNN 加速器的片外数据访问而结合调度、内存分配和张量替换

    通过一个名为 COSMA 的优化框架，我们能够在专用硬件加速器上为 DNNs 找到最佳的操作调度、内存分配和张量替换方式，从而最小化额外数据访问，同时通过分而治之的启发式方法可以将复杂 DNNs 的数据访问降低 85% 以上。

    Nov, 2023

  • Saturn: 高效的多大模型深度学习

    我们提出了 Saturn，这是一个新的数据系统，旨在提高多大模型训练的效率，通过解决并行技术选择、GPU 分布以及调度等相关问题，我们建立了一个新的系统架构，通过联合优化方法，在模型选择中运行时间较传统深度学习实践缩短了 39-49%。

    Nov, 2023