Aug, 2023

利用 Versal 体系结构的芯片内异构性加速 GNN 推理

PDF
TL;DR基于 AMD Versal ACAP 架构，利用数据稀疏性加速图神经网络（GNN）推理，通过自定义硬件模块在可编程逻辑（PL）上执行稀疏计算，利用 AI Engine（AIE）高效计算稠密计算部分，并通过动态分配计算任务的运行时内核映射策略在 PL 和 AIE 上分别进行计算，从而在 VCK5000 ACAP 平台上相比于 CPU、GPU、ACAP 和其他自定义 GNN 加速器实现获得更好的性能，平均速度提升分别为 162.42x、17.01x、9.90x 和 27.23x，对于图卷积网络（GCN）推理，相对于仅使用 PL 设计的方案在同一 ACAP 设备上获得了 3.9-96.7 倍的速度提升。
graph neural networksgnn inferencedata sparsityamd versal acapruntime kernel mapping strategy
发现论文，激发创造
  • GraphACT: 在 CPU-FPGA 异构平台上加速 GCN 训练

    通过 CPU-FPGA 异构系统，我们设计了一种新型加速器，通过算法 - 架构协同优化，提升 Graph Convolutional Networks 训练的速度。我们采用子图算法，优化特征传播，并提出基于 systolic array 的设计，实现了如此高效的加速。在 Xilinx Alveo U200 及 40 核 Xeon 服务器上，我们的设计比现有多核平台的最新实现快一个数量级，且几乎没有精度损失。

    Dec, 2019

  • Accel-GCN：图卷积网络的高性能 GPU 加速器设计

    Accel-GCN 是一种针对 Graph Convolutional Networks 的 GPU 加速器架构，通过轻量级的节点排序、块级分区策略、以及组合的 warp 策略，优化了 GCN 的计算效率，并在 18 个基准图上表现出比 cuSPARSE、GNNAdvisor 和 graph-BLAST 分别高出 1.17 倍、1.86 倍和 2.94 倍的性能。

    Aug, 2023

  • 图计算加速器的实现

    图神经网络在图结构数据上学习提供了一种新颖的机器学习范例，能够捕捉图数据中的复杂关系和依赖性，从而在社交网络分析、分子化学和网络安全等领域具有重要的影响。本论文旨在深入研究 GNN 与底层硬件的交互方式，并设计专用加速器和新型优化方法，以实现更高效和更快速的 GNN 计算。我们基于对 GNN 计算需求的特征化构建了先进的硬件加速器结构，同时扩展了对图神经网络领域中新型模型的探索，旨在提供不仅高性能而且能适应图计算发展的多功能加速器。

    Dec, 2023

  • 通过架构、编译器、分区方法共同设计加速通用图神经网络

    本文介绍了一种名为 SwitchBlade 的框架，通过新型分区级操作融合、分区级多线程和细粒度图分区等方法，实现了对图神经网络的高性能和高效能加速，相较于 NVIDIA V100 GPU，SwitchBlade 平均速度提升 1.85 倍，节能 19.03 倍，并且在性能上与最先进的专用加速器相媲美。

    Aug, 2023

  • DNNVM: FPGA-based CNN 加速器上利用异构优化的端到端编译器

    本文提出了用于深度学习框架的全栈编译器 DNNVM，通过优化图表现形式、循环和数据布局、关键算法和支持验证等，将复杂的 CNN 模型转换成有向无环图（XGraph）并利用启发式子图同构算法枚举所有潜在的融合机会，并在全计算图中搜索执行策略的最佳选择， 在 Xilinx ZU9 @330 MHz 等设备上实现了与最新算法同等状态的性能，最终在 VGG 和 ResNet50 上达到了最先进的性能。

    Feb, 2019

  • 通过 GPU 上的自适应子图级核加速 GNN 训练的 AdaptGear

    本文提出 AdaptGear 系统，旨在通过在子图层面上利用与密度特征相匹配的核心来优化 GNN 的性能，同时提出一种方法动态选择给定输入图形的最佳核心集，评估表明 AdaptGear 可以在各种数据集上实现显着的性能改进，最高可达 6.49 倍（平均 1.87 倍）

    May, 2023

  • HyGCN：一种具有混合架构的 GCN 加速器

    本文提出一种基于混合架构的 GCN 加速器 HyGCN，该加速器在处理 GCNs 时具有细粒度的并行性，利用两个处理引擎来缓解 Aggregation 阶段的不规则性和 Combination 阶段的规则性，并通过间相位融合和基于优先级的内存访问协调来优化整个系统，相较于 Intel Xeon CPU 和 NVIDIA V100 GPU 上的现有软件框架，该加速器平均获得了 1509 倍的加速比，同时降低了 2500 倍的能耗和 6.5 倍的加速比以及 10 倍的能耗降低。

    Jan, 2020

  • 用于 GNN 加速的输入敏感型稠密 - 稀疏原始组合

    本论文提出了一种新的稠密和稀疏矩阵基元的选择和组合方法，使用自适应策略来选择最佳组合，以加速在各种输入图形和 GNN 嵌入大小上的表现，并在与经过良好调整的基线的比较中展示出不同的协同表现优势。

    Jun, 2023

  • I-GCN: 通过孤岛化实现运行时局部性增强的图卷积网络加速器

    本文提出了一种新的硬件加速器 I-GCN，采用在线图重构算法 Islandization，通过处理岛屿而不是单个节点，从而显著提高了数据局部性和减少了不必要的计算。I-GCN 可以减少 38% 的聚合操作，性能速度普遍快于 CPU、GPU 和先前的 GCN 加速器。

    Mar, 2022

  • 理解基于 FPGA 的空间加速对大型语言模型推理的潜力

    通过对大型语言模型的空间加速进行研究，本文介绍了针对特定运算符或层的硬件单元专门化的方法，并通过数据流架构实现它们之间的直接通信，从而最小化片外内存访问延迟。研究通过在 AMD Alveo U280 FPGA 设备上实现 BERT 和 GPT2 模型，实验结果表明相较于之前的 FPGA 加速器，在 BERT 模型方面可以实现 16.1 倍的加速，在 GPT 生成推理方面，在前置阶段相较于 DFX，一个 FPGA 叠加层，在解码阶段相较于 NVIDIA A100 GPU，分别实现 2.2 倍的加速和 5.7 倍的能效提升。

    Dec, 2023