Aug, 2023

Accel-GCN：图卷积网络的高性能 GPU 加速器设计

PDF
TL;DRAccel-GCN 是一种针对 Graph Convolutional Networks 的 GPU 加速器架构，通过轻量级的节点排序、块级分区策略、以及组合的 warp 策略，优化了 GCN 的计算效率，并在 18 个基准图上表现出比 cuSPARSE、GNNAdvisor 和 graph-BLAST 分别高出 1.17 倍、1.86 倍和 2.94 倍的性能。
graph convolutional networksaccel-gcngpu accelerator architectureworkload imbalancememory access irregularity
发现论文，激发创造
  • GraphACT: 在 CPU-FPGA 异构平台上加速 GCN 训练

    通过 CPU-FPGA 异构系统，我们设计了一种新型加速器，通过算法 - 架构协同优化，提升 Graph Convolutional Networks 训练的速度。我们采用子图算法，优化特征传播，并提出基于 systolic array 的设计，实现了如此高效的加速。在 Xilinx Alveo U200 及 40 核 Xeon 服务器上，我们的设计比现有多核平台的最新实现快一个数量级，且几乎没有精度损失。

    Dec, 2019

  • HyGCN：一种具有混合架构的 GCN 加速器

    本文提出一种基于混合架构的 GCN 加速器 HyGCN，该加速器在处理 GCNs 时具有细粒度的并行性，利用两个处理引擎来缓解 Aggregation 阶段的不规则性和 Combination 阶段的规则性，并通过间相位融合和基于优先级的内存访问协调来优化整个系统，相较于 Intel Xeon CPU 和 NVIDIA V100 GPU 上的现有软件框架，该加速器平均获得了 1509 倍的加速比，同时降低了 2500 倍的能耗和 6.5 倍的加速比以及 10 倍的能耗降低。

    Jan, 2020

  • 利用 Versal 体系结构的芯片内异构性加速 GNN 推理

    基于 AMD Versal ACAP 架构，利用数据稀疏性加速图神经网络（GNN）推理，通过自定义硬件模块在可编程逻辑（PL）上执行稀疏计算，利用 AI Engine（AIE）高效计算稠密计算部分，并通过动态分配计算任务的运行时内核映射策略在 PL 和 AIE 上分别进行计算，从而在 VCK5000 ACAP 平台上相比于 CPU、GPU、ACAP 和其他自定义 GNN 加速器实现获得更好的性能，平均速度提升分别为 162.42x、17.01x、9.90x 和 27.23x，对于图卷积网络（GCN）推理，相对于仅使用 PL 设计的方案在同一 ACAP 设备上获得了 3.9-96.7 倍的速度提升。

    Aug, 2023

  • 通过架构、编译器、分区方法共同设计加速通用图神经网络

    本文介绍了一种名为 SwitchBlade 的框架，通过新型分区级操作融合、分区级多线程和细粒度图分区等方法，实现了对图神经网络的高性能和高效能加速，相较于 NVIDIA V100 GPU，SwitchBlade 平均速度提升 1.85 倍，节能 19.03 倍，并且在性能上与最先进的专用加速器相媲美。

    Aug, 2023

  • GROW: 一种行驻型稀疏 - 密集 GEMM 加速器，用于内存高效图卷积神经网络

    本文介绍了一种名为 GROW 的 GCN 加速器，该加速器基于 Gustavson 算法，对基于行的稀疏矩阵 - 密集矩阵乘法进行了优化，通过软硬件协同设计，在局部性和并行性之间取得平衡，显著提高了能效。

    Mar, 2022

  • I-GCN: 通过孤岛化实现运行时局部性增强的图卷积网络加速器

    本文提出了一种新的硬件加速器 I-GCN，采用在线图重构算法 Islandization，通过处理岛屿而不是单个节点，从而显著提高了数据局部性和减少了不必要的计算。I-GCN 可以减少 38% 的聚合操作，性能速度普遍快于 CPU、GPU 和先前的 GCN 加速器。

    Mar, 2022

  • 通过 GPU 上的自适应子图级核加速 GNN 训练的 AdaptGear

    本文提出 AdaptGear 系统，旨在通过在子图层面上利用与密度特征相匹配的核心来优化 GNN 的性能，同时提出一种方法动态选择给定输入图形的最佳核心集，评估表明 AdaptGear 可以在各种数据集上实现显着的性能改进，最高可达 6.49 倍（平均 1.87 倍）

    May, 2023

  • 分布式内存系统上的可扩展图卷积网络训练

    我们提出了一种高度并行的算法，用于效放缩大处理器计数的图卷积网络的训练。我们利用图的顶点划分，在处理器之间使用非阻塞点对点通信操作以获得更好的可伸缩性。我们基于超图划分模型提出一种稀疏矩阵划分方案，展示了所提出算法在真实世界的图数据集上比替代解决方案实现了相当快的加速（包括在亿级图上的表现）。

    Dec, 2022

  • 图计算加速器的实现

    图神经网络在图结构数据上学习提供了一种新颖的机器学习范例，能够捕捉图数据中的复杂关系和依赖性，从而在社交网络分析、分子化学和网络安全等领域具有重要的影响。本论文旨在深入研究 GNN 与底层硬件的交互方式，并设计专用加速器和新型优化方法，以实现更高效和更快速的 GNN 计算。我们基于对 GNN 计算需求的特征化构建了先进的硬件加速器结构，同时扩展了对图神经网络领域中新型模型的探索，旨在提供不仅高性能而且能适应图计算发展的多功能加速器。

    Dec, 2023

  • 高精准、高效率和可扩展性的图嵌入算法

    本文提出了并行化技术，为图采样 GCN 提供卓越的可扩展性性能，在不妥协准确性的情况下，在非常大的图上实现了优秀的性能。具体地，我们保证了 GCN 的高效训练，并在计算和通信方面节约了数量级的开销，同时，我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。

    Oct, 2018