Aug, 2023

Accel-GCN：图卷积网络的高性能GPU加速器设计

HTML
PDF
TL;DRAccel-GCN是一种针对Graph Convolutional Networks的GPU加速器架构，通过轻量级的节点排序、块级分区策略、以及组合的warp策略，优化了GCN的计算效率，并在18个基准图上表现出比cuSPARSE、GNNAdvisor和graph-BLAST分别高出1.17倍、1.86倍和2.94倍的性能。
发现论文，激发创造
  • 高精准、高效率和可扩展性的图嵌入算法

    本文提出了并行化技术，为图采样GCN提供卓越的可扩展性性能，在不妥协准确性的情况下，在非常大的图上实现了优秀的性能。具体地，我们保证了GCN的高效训练，并在计算和通信方面节约了数量级的开销，同时，我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。

    Oct, 2018

  • Cluster-GCN：一个用于训练深度和大型图卷积网络的高效算法

    本文介绍了Cluster-GCN算法，通过利用图聚类结构，将邻域搜索限制在一个由图聚类算法确定的密集子图中，从而实现大规模GCN的SGD训练，在保证可比性测试精度的情况下显著提高了内存和计算效率。

    May, 2019

  • GraphACT: 在 CPU-FPGA 异构平台上加速 GCN 训练

    通过 CPU-FPGA 异构系统，我们设计了一种新型加速器，通过算法-架构协同优化，提升 Graph Convolutional Networks 训练的速度。我们采用子图算法，优化特征传播，并提出基于 systolic array 的设计，实现了如此高效的加速。在 Xilinx Alveo U200 及 40 核 Xeon 服务器上，我们的设计比现有多核平台的最新实现快一个数量级，且几乎没有精度损失。

    Dec, 2019

  • GROW: 一种行驻型稀疏-密集GEMM加速器，用于内存高效图卷积神经网络

    本文介绍了一种名为GROW的GCN加速器，该加速器基于Gustavson算法，对基于行的稀疏矩阵-密集矩阵乘法进行了优化，通过软硬件协同设计，在局部性和并行性之间取得平衡，显著提高了能效。

    Mar, 2022

  • I-GCN: 通过孤岛化实现运行时局部性增强的图卷积网络加速器

    本文提出了一种新的硬件加速器 I-GCN，采用在线图重构算法 Islandization，通过处理岛屿而不是单个节点，从而显著提高了数据局部性和减少了不必要的计算。I-GCN 可以减少38%的聚合操作，性能速度普遍快于 CPU、GPU 和先前的GCN加速器。

    Mar, 2022

  • BNS-GCN: 使用分区并行和随机边界节点抽样的图卷积网络高效全图训练

    本研究提出一种名为BNS-GCN的简单而有效的方法，采用随机边界节点采样，提高了分布式GCN训练的吞吐量16.2倍，减少了内存使用量高达58％，同时保持全图精度的稳定性，为实现大规模GCN训练开辟了一条新的途径。

    Mar, 2022

  • 分布式内存系统上的可扩展图卷积网络训练

    我们提出了一种高度并行的算法，用于效放缩大处理器计数的图卷积网络的训练。我们利用图的顶点划分，在处理器之间使用非阻塞点对点通信操作以获得更好的可伸缩性。我们基于超图划分模型提出一种稀疏矩阵划分方案，展示了所提出算法在真实世界的图数据集上比替代解决方案实现了相当快的加速（包括在亿级图上的表现）。

    Dec, 2022

  • 利用GPU发起直接存储访问加速GNN框架中的采样和聚合操作

    文中作者提出了GPU Initiated Direct Storage Access (GIDS)数据加载器来解决图嵌入和采样问题，以实现大规模图的GPU优先训练及优化，该方法将整个 DGL GNN 训练加速了最高可达392倍。

    Jun, 2023

  • 通过架构、编译器、分区方法共同设计加速通用图神经网络

    本文介绍了一种名为SwitchBlade的框架，通过新型分区级操作融合、分区级多线程和细粒度图分区等方法，实现了对图神经网络的高性能和高效能加速，相较于NVIDIA V100 GPU，SwitchBlade平均速度提升1.85倍，节能19.03倍，并且在性能上与最先进的专用加速器相媲美。

    Aug, 2023

  • FastGL: 高效能GPU框架用于大规模采样基础的GNN训练加速

    本研究解决了现有采样基础GNN训练框架在训练大规模图时效率不足的问题，提出了FastGL，旨在同时优化采样、内存IO和计算三个阶段。通过开发匹配重排策略和内存感知计算方法，FastGL在多个框架上实现了显著加速，展现出其在GPU高效利用方面的潜力。

    Sep, 2024