MMAug, 2015

面向异构并行计算结构（如 Zynq All-Programmable SoC）的粗粒度性能估计器

PDF
TL;DR本文介绍了用于系统性能并行异构估计的一种新方法，并对 Zynq All-Programmable SoC 上的硬件 / 软件异构并行表现进行了评估。
heterogeneous computingzynq all-programmable sochardware/software co-designheterogeneous task schedulingparallel performance estimation
发现论文，激发创造
  • 神经异构调度器

    本研究使用深度强化学习技术，提出了一种方法，在具备多种协处理器的异构 SoC 系统中智能地调度和学习任务流，实验结果表明，相比于传统的调度启发式算法，我们的强化学习系统在最小化执行时间方面提供了更好的选择。

    Jun, 2019

  • SySMOL: 用于超低和细粒度混合精度神经网络的硬件 - 软件协同设计框架

    最近，量化和混合精度技术的最新进展为改善神经网络的运行时间和能量效率提供了极大的希望。通过本研究，我们进一步证明了神经网络中的个别参数或激活可以采用 1 到 4 位不同精度，从而可以获得与全精度对应物相当甚至超过的准确性。然而，这类网络的部署面临着许多挑战，源于需要管理和控制与每个数据片的这些非常精细的混合精度相关的计算、通信和存储需求。现有的有效的硬件和系统级支持对于这些独特且具有挑战性的需求缺乏。我们的研究引入了首个针对这些网络的新颖的硬件 - 软件协同设计方法，该方法使得硬件设计、训练和推理之间具备连续的反馈循环，以促进系统设计探索。我们通过设计新的可配置的面向这些网络的 CPU SIMD 架构，并将该架构与新的系统感知训练和推理技术紧密结合，来说明这种协同设计方法的概念验证。我们使用该框架进行系统化的设计空间探索，以分析各种权衡。在该设计中，混合精度网络的优化权衡对应于一种支持 1、2 和 4 位定点运算的架构，该架构具有四种可配置的精度模式，当与系统感知训练和推理优化相结合时，该网络的准确性与全精度准确性非常接近，同时将神经网络的压缩和运行时效率大大提升 10-20 倍，相比全精度网络。

    Nov, 2023

  • AutoAccel：具有组合、并行和流水线架构的自动化加速器生成和优化

    本文提出了可组合、并行和流水线 (CPP) 微体系结构作为加速器设计的模板，并介绍了一种分析模型来捕捉 CPP 微体系结构的不同设计配置之间的性能和资源权衡，为快速设计空间探索奠定了基础，最终开发了 AutoAccel 框架来自动生成加速器设计。

    Jul, 2018

  • 异构芯片上的多模型推理的层间调度空间探索

    通过实验我们的框架在 4 芯片系统上对 GPT-2 和 ResNet-50 模型的使用，相较于优化输出固定数据流的整体加速器，吞吐量和能效分别提高了 2.2 倍和 1.9 倍。

    Dec, 2023

  • DS3: 一种面向系统级领域特定片上系统仿真框架

    通过开发系统级领域特定 SoC 仿真框架，具有加速常用核心的处理元素并实现动态资源管理，促进异构 SoC 的利用，优化功率性能。该框架的优化潜能得以释放，可广泛应用于无线通讯和雷达处理等多个领域，并以开源软件的方式分享，激发相关领域的研究。

    Mar, 2020

  • N3H-Core: 神经元设计的基于 FPGA 的异构计算核心神经网络加速器

    本文介绍了一种 FPGA 加速神经网络评估的异构计算系统，通过利用 DSP 和 LUT 的不同资源优势进行计算。作者运用强化学习算法对系统进行优化，使得该系统在减少延迟的同时提高了精度表现。

    Dec, 2021

  • 使用 FPGA 进行高性能计算的设计优化

    本研究旨在探索 FPGA 在高性能计算中的应用价值，通过对 Tensil AI 开源推理加速器进行硬件设计和编译优化，成功提升了推理性能，进一步证明了 FPGA 在计算加速中的优越性，通过实验数据证明所提出的加速器在单位能耗下的操作强度可达 21.12 GOP/s，相比市面上其他设备，具有更高的能源效率。

    Apr, 2023

  • 异构集群上的编码计算

    本文提出了一种编码框架（HCMM）以提高异构分布式计算的速度，并展示了在 Amazon EC2 上进行分布式矩阵乘法实验的结果。该方法比三种基准负载分配方案的速度分别快 61％，46％和 36％。同时，我们还提供了在异构设置中的最优负载分配问题的一般化解决方案，并开发了一个启发式算法（HCMM）负载分配问题。

    Jan, 2017

  • 使用增强异构 AST 表示学习 OpenMP 并行化

    本研究提出了一种基于图的学习方法 Graph2Par，该方法利用了一种包含丰富信息的异构增强抽象语法树（Augmented-AST）表示形式，并在 OpenMP 中主要关注循环级别并行化。通过创造一个包含 18598 个可并行化和 13972 个非可并行化循环的 OMP_Serial 数据集来训练机器学习模型，研究结果表明，该方法可以以 85％的准确度检测出可并行化的代码区域，并且优于基于状态的 Token 的机器学习方法。这些结果表明，该方法与最先进的工具具有竞争力，能够处理其他工具可能忽略的复杂结构的循环。

    May, 2023

  • SCAR: 在异构多芯片模块加速器上调度多模型 AI 工作负载

    最近的大规模语言模型等新型大规模混合模态工作负载大大增加了硬件的计算和内存需求。为了应对不断增长的需求，设计可扩展的硬件架构成为一个关键问题。在最近的解决方案中，基于 2.5D 硅互联器多芯片模块（MCM）的人工智能加速器已被广泛探索，由于其在低工程成本和可组合性方面具有显著优势。然而，以前的 MCM 加速器是基于具有固定数据流的同构架构，对于高度异构的多模型工作负载存在重大挑战，因为它们的工作负载适应性有限。因此，在本研究中，我们探索了采用异构数据流 MCM 人工智能加速器的机会。我们确定了在异构数据流 MCM 人工智能加速器上进行多模型工作负载调度是一个重要且具有挑战性的问题，由于其重要性和规模，即使在 6x6 芯片的单模型情况下，也达到 O（10 ^ 18）规模。我们开发了一组启发式方法来遍历巨大的调度空间，并将它们整理成具有高级技术（如芯片间流水线）的调度器。我们对十种多模型工作负载场景进行的评估（包括数据中心多租户和增强现实 / 虚拟现实应用）显示了我们方法的有效性，相比于同构基线，平均能减少 35.3% 和 31.4% 的能量 - 延迟产品（EDP）。

    May, 2024