Dec, 2023

MaxK-GNN：加速图神经网络训练的理论速度极限

HTML
PDF
TL;DR本文提出了MaxK-GNN，一个高性能的GPU训练系统，通过集成算法和系统创新来实现。在MaxK-GNN系统的广泛评估中，实验结果显示其接近Amdahl法则的理论极限，相对于DGL和GNNAdvisor的实现，在Reddit上实现了3.22/4.24倍的速度提升（相对于理论极限的5.52/7.27倍），并且达到了与SOTA GNN相当的准确性。
发现论文，激发创造
  • GraphACT: 在 CPU-FPGA 异构平台上加速 GCN 训练

    通过 CPU-FPGA 异构系统，我们设计了一种新型加速器，通过算法-架构协同优化，提升 Graph Convolutional Networks 训练的速度。我们采用子图算法，优化特征传播，并提出基于 systolic array 的设计，实现了如此高效的加速。在 Xilinx Alveo U200 及 40 核 Xeon 服务器上，我们的设计比现有多核平台的最新实现快一个数量级，且几乎没有精度损失。

    Dec, 2019

  • 动态图神经网络的高效扩展

    本文介绍了一种在大规模动态图上训练分布式算法的方法，采用图差分策略和数据分布技术极大地降低了传输和运行时间，并在使用 128 个 GPU 的系统上取得了高达 30 倍的加速。

    Sep, 2021

  • 使用快速采样和流水线加速图神经网络的训练和推断

    使用邻域采样的小批量训练方法加速图神经网络的训练和推理过程，可在多GPU环境下实现。作者采用性能优化的采样器、共享内存并行化的策略以及批量传输与GPU计算流水线的方法对算法进行改进，并在多个基准数据集和GNN架构上进行了实验，取得了显著的加速效果。

    Oct, 2021

  • 针对科学应用的图神经网络操作水平性能基准测试

    通过在PyTorch Geometric软件框架中实现科学计算所需的低级操作并在NVIDIA A100 GPU上进行基准测试，我们发现在专用硬件平台上具有关键作用的操作时限制内存效率的瓶颈而不仅仅是数据稀疏性，希望这些结果能成为此类操作的基准，并有助于未来的软件和硬件优化，从而实现可扩展的GNN性能的整体增强。

    Jul, 2022

  • 大规模图训练的全面研究：基准测试和重新思考

    本文通过提供大规模图训练不同的架构和贴切的评估方法，在分析它们的优点和缺点后，介绍了一个名为EnGCN的新的集成训练方式。

    Oct, 2022

  • 通过GPU上的自适应子图级核加速GNN训练的AdaptGear

    本文提出AdaptGear系统，旨在通过在子图层面上利用与密度特征相匹配的核心来优化GNN的性能，同时提出一种方法动态选择给定输入图形的最佳核心集，评估表明AdaptGear可以在各种数据集上实现显着的性能改进，最高可达6.49倍（平均1.87倍）

    May, 2023

  • 利用GPU发起直接存储访问加速GNN框架中的采样和聚合操作

    文中作者提出了GPU Initiated Direct Storage Access (GIDS)数据加载器来解决图嵌入和采样问题，以实现大规模图的GPU优先训练及优化，该方法将整个 DGL GNN 训练加速了最高可达392倍。

    Jun, 2023

  • Tango：重新思考在GPU上进行图神经网络训练的量化

    Tango是一个能在GPU上加速Graph Neural Networks（GNN）训练的系统，通过引入有效的保持精度的规则和量化意识的基本操作，以及与Deep Graph Library（DGL）系统的集成，展示了优于现有方法的性能。

    Aug, 2023

  • 通过架构、编译器、分区方法共同设计加速通用图神经网络

    本文介绍了一种名为SwitchBlade的框架，通过新型分区级操作融合、分区级多线程和细粒度图分区等方法，实现了对图神经网络的高性能和高效能加速，相较于NVIDIA V100 GPU，SwitchBlade平均速度提升1.85倍，节能19.03倍，并且在性能上与最先进的专用加速器相媲美。

    Aug, 2023

  • FastGL: 高效能GPU框架用于大规模采样基础的GNN训练加速

    本研究解决了现有采样基础GNN训练框架在训练大规模图时效率不足的问题，提出了FastGL，旨在同时优化采样、内存IO和计算三个阶段。通过开发匹配重排策略和内存感知计算方法，FastGL在多个框架上实现了显著加速，展现出其在GPU高效利用方面的潜力。

    Sep, 2024