Jun, 2023

利用 GPU 发起直接存储访问加速 GNN 框架中的采样和聚合操作

PDF
TL;DR文中作者提出了 GPU Initiated Direct Storage Access (GIDS) 数据加载器来解决图嵌入和采样问题，以实现大规模图的 GPU 优先训练及优化，该方法将整个 DGL GNN 训练加速了最高可达 392 倍。
发现论文，激发创造
  • PyTorch-Direct：通过 GPU 中心数据访问实现对具有不规则访问的大规模图神经网络训练的支持

    PyTorch-Direct 通过引入 GPU-centric 数据访问范式为 GNN 训练提供了高效的数据访问方式，大大缩短了数据传输时间，提高了训练速度，并减少了训练过程中对 CPU 资源的利用，从而节省了系统功率。

    Jan, 2021

  • 降低基于磁盘的 GNN 训练中的内存争用和 I/O 拥塞

    GNNDrive 通过综合的缓冲区管理和异步特征提取策略来最小化内存占用，避免内存和 I/O 的竞争，并充分利用软件和硬件资源。实验证明 GNNDrive 在 Papers100M 数据集上训练 GraphSAGE 模型时，比 SoTA PyG+、Ginex 和 MariusGNN 分别快 16.9 倍、2.6 倍和 2.7 倍。

    Jun, 2024

  • DiskGNN：为离核 GNN 训练提供 I/O 效率和模型准确性的桥接

    研究使用离线采样的 DiskGNN 系统，在训练大规模图神经网络时达到高的 I/O 效率和快速训练，同时保持模型的准确性。与其他现有系统相比，DiskGNN 能够将性能提高 8 倍以上，并且具有相同的模型精确度。

    May, 2024

  • 巨型图上混合 CPU-GPU 训练的全局邻居采样

    这篇论文提出了一种全局节点采样算法，名为 Global Neighborhood Sampling，以满足大规模复杂图的图神经网络训练需求，该算法能使混合 CPU-GPU 训练的高效训练成为可能，并通过实验展现了比传统邻居采样方法更加高效的结果。

    Jun, 2021

  • GraNNDis: 面向大规模集群的高效统一分布式训练框架用于深度图神经网络

    GraNNDis 是一个高效的分布式 GNN 训练框架，通过共享预加载、扩展感知采样和合作批处理三种技术，解决了大图和深层训练中的通信和内存问题，实现了超越现有分布式 GNN 训练框架的速度提升。

    Nov, 2023

  • DistGNN：大规模图神经网络的可扩展分布式训练

    该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

    Apr, 2021

  • 动态图神经网络的高效扩展

    本文介绍了一种在大规模动态图上训练分布式算法的方法，采用图差分策略和数据分布技术极大地降低了传输和运行时间，并在使用 128 个 GPU 的系统上取得了高达 30 倍的加速。

    Sep, 2021

  • 使用快速采样和流水线加速图神经网络的训练和推断

    使用邻域采样的小批量训练方法加速图神经网络的训练和推理过程，可在多 GPU 环境下实现。作者采用性能优化的采样器、共享内存并行化的策略以及批量传输与 GPU 计算流水线的方法对算法进行改进，并在多个基准数据集和 GNN 架构上进行了实验，取得了显著的加速效果。

    Oct, 2021

  • SmartSAGE: 使用存储处理架构训练大规模图神经网络

    本文针对大规模图神经网络 GNN 训练所需的巨大存储容量和内存限制的问题，提出了一种基于存储器的处理（ISP）架构的解决方案 SmartSAGE，使 GNN 训练系统具有高容量存储和高性能。

    May, 2022

  • 利用 GPU 加速图机器学习中的图采样

    该论文介绍了一个名为 NextDoor 的系统，该系统使用称为 transit-parallelism 的新方法，在 GPU 上高效执行图形采样，并比现有系统运行得更快，该系统提供给终端用户撰写各种图形采样算法的高级抽象。

    Sep, 2020