Dec, 2023

MaxK-GNN：加速图神经网络训练的理论速度极限

PDF
TL;DR本文提出了 MaxK-GNN，一个高性能的 GPU 训练系统，通过集成算法和系统创新来实现。在 MaxK-GNN 系统的广泛评估中，实验结果显示其接近 Amdahl 法则的理论极限，相对于 DGL 和 GNNAdvisor 的实现，在 Reddit 上实现了 3.22/4.24 倍的速度提升（相对于理论极限的 5.52/7.27 倍），并且达到了与 SOTA GNN 相当的准确性。
deep neural network traininggpugnnmaxk-gnnspeedup optimization
发现论文，激发创造
  • 通过 GPU 上的自适应子图级核加速 GNN 训练的 AdaptGear

    本文提出 AdaptGear 系统，旨在通过在子图层面上利用与密度特征相匹配的核心来优化 GNN 的性能，同时提出一种方法动态选择给定输入图形的最佳核心集，评估表明 AdaptGear 可以在各种数据集上实现显着的性能改进，最高可达 6.49 倍（平均 1.87 倍）

    May, 2023

  • 图计算加速器的实现

    图神经网络在图结构数据上学习提供了一种新颖的机器学习范例，能够捕捉图数据中的复杂关系和依赖性，从而在社交网络分析、分子化学和网络安全等领域具有重要的影响。本论文旨在深入研究 GNN 与底层硬件的交互方式，并设计专用加速器和新型优化方法，以实现更高效和更快速的 GNN 计算。我们基于对 GNN 计算需求的特征化构建了先进的硬件加速器结构，同时扩展了对图神经网络领域中新型模型的探索，旨在提供不仅高性能而且能适应图计算发展的多功能加速器。

    Dec, 2023

  • Accel-GCN：图卷积网络的高性能 GPU 加速器设计

    Accel-GCN 是一种针对 Graph Convolutional Networks 的 GPU 加速器架构，通过轻量级的节点排序、块级分区策略、以及组合的 warp 策略，优化了 GCN 的计算效率，并在 18 个基准图上表现出比 cuSPARSE、GNNAdvisor 和 graph-BLAST 分别高出 1.17 倍、1.86 倍和 2.94 倍的性能。

    Aug, 2023

  • NeuraChip: 使用基于哈希的解耦空间加速器加速 GNN 计算

    NeuraChip 是一种基于 Gustavson 算法的新型 GNN 空间加速器，通过分离稀疏矩阵乘法中的乘法和加法计算，实现了数据依赖性的独立利用，减少了片上内存中数据闲置的问题，并通过动态再分配哈希映射实现了计算资源的负载平衡，从而在性能分析方面取得了显著的改进。

    Apr, 2024

  • 图神经网络加速综述：算法、系统和定制硬件

    本次调查报告提供了图神经网络加速的分类法，并回顾了现有方法，并提出了未来的研究方向，以便统一视图和解决相关工作的复杂性。

    Jun, 2023

  • 图神经网络的优化：跳连和更深层的隐式加速

    本文研究 GNN 在梯度动力学方面的优化性质，并证明了在某些情况下，通过跳跃连接、更深或更好的标签分布可以提高训练速度和最终结果的优化，因此建议在实践中使用具有跳跃连接的深度 GNN。

    May, 2021

  • 使用随机稀疏计算加速图神经网络训练

    针对图神经网络训练过程中稀疏矩阵运算效率低下、采样也更加困难的问题，我们基于资源分配和缓存上一轮采样的解决方案，提出了一种名为随机稀疏计算的方法，能够在几乎不降低精度的情况下取得了专门针对稀疏矩阵运算加速的显著效果。

    Oct, 2022

  • 利用 Versal 体系结构的芯片内异构性加速 GNN 推理

    基于 AMD Versal ACAP 架构，利用数据稀疏性加速图神经网络（GNN）推理，通过自定义硬件模块在可编程逻辑（PL）上执行稀疏计算，利用 AI Engine（AIE）高效计算稠密计算部分，并通过动态分配计算任务的运行时内核映射策略在 PL 和 AIE 上分别进行计算，从而在 VCK5000 ACAP 平台上相比于 CPU、GPU、ACAP 和其他自定义 GNN 加速器实现获得更好的性能，平均速度提升分别为 162.42x、17.01x、9.90x 和 27.23x，对于图卷积网络（GCN）推理，相对于仅使用 PL 设计的方案在同一 ACAP 设备上获得了 3.9-96.7 倍的速度提升。

    Aug, 2023

  • 针对科学应用的图神经网络操作水平性能基准测试

    通过在 PyTorch Geometric 软件框架中实现科学计算所需的低级操作并在 NVIDIA A100 GPU 上进行基准测试，我们发现在专用硬件平台上具有关键作用的操作时限制内存效率的瓶颈而不仅仅是数据稀疏性，希望这些结果能成为此类操作的基准，并有助于未来的软件和硬件优化，从而实现可扩展的 GNN 性能的整体增强。

    Jul, 2022

  • 计算图神经网络：从算法到加速器的综述

    该研究论文通过对 GNNs 的计算效率进行探讨，提供了该领域的回顾，包括对 GNN 的基本概念的简短教程以及不同算法变体的多个阶段中进行的操作的总结；同时，提供了对当前软件和硬件加速方案的深入分析，并提出了一个面向硬件和软件的、图形感知和通信为中心的 GNN 加速器的愿景。

    Sep, 2020