降低基于磁盘的 GNN 训练中的内存争用和 I/O 拥塞

Jun, 2024

降低基于磁盘的 GNN 训练中的内存争用和 I/O 拥塞

Reducing Memory Contention and I/O Congestion for Disk-based GNN Training

Qisheng Jiang, Lei Jia, Chundong Wang

TL;DRGNNDrive 通过综合的缓冲区管理和异步特征提取策略来最小化内存占用，避免内存和 I/O 的竞争，并充分利用软件和硬件资源。实验证明 GNNDrive 在 Papers100M 数据集上训练 GraphSAGE 模型时，比 SoTA PyG+、Ginex 和 MariusGNN 分别快 16.9 倍、2.6 倍和 2.7 倍。

Abstract

graph neural networks (GNNs) gain wide popularity. Large graphs with high-dimensional features become common and training GNNs on them is non-trivial on an ordinary machine. Given a gigantic graph, even sample-based gnn

graph neural networks gnn training disk-based training memory contention asynchronous feature extraction

发现论文，激发创造

DiskGNN：为离核 GNN 训练提供 I/O 效率和模型准确性的桥接

研究使用离线采样的 DiskGNN 系统，在训练大规模图神经网络时达到高的 I/O 效率和快速训练，同时保持模型的准确性。与其他现有系统相比，DiskGNN 能够将性能提高 8 倍以上，并且具有相同的模型精确度。

May, 2024

SmartSAGE: 使用存储处理架构训练大规模图神经网络

本文针对大规模图神经网络 GNN 训练所需的巨大存储容量和内存限制的问题，提出了一种基于存储器的处理（ISP）架构的解决方案 SmartSAGE，使 GNN 训练系统具有高容量存储和高性能。

May, 2022

利用 GPU 发起直接存储访问加速 GNN 框架中的采样和聚合操作

文中作者提出了 GPU Initiated Direct Storage Access (GIDS) 数据加载器来解决图嵌入和采样问题，以实现大规模图的 GPU 优先训练及优化，该方法将整个 DGL GNN 训练加速了最高可达 392 倍。

Jun, 2023

DistGNN：大规模图神经网络的可扩展分布式训练

该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

Apr, 2021

FlashGraph: 在一组通用 SSD 上处理数十亿节点图

通过在用户空间 SSD 文件系统上实现图处理引擎，使用闪存硬盘并利用多核服务器的处理能力，FlashGraph 在半外部存储器中执行许多算法并表现出众，可表达各种图形算法及其优化。

Aug, 2014

GraNNDis: 面向大规模集群的高效统一分布式训练框架用于深度图神经网络

GraNNDis 是一个高效的分布式 GNN 训练框架，通过共享预加载、扩展感知采样和合作批处理三种技术，解决了大图和深层训练中的通信和内存问题，实现了超越现有分布式 GNN 训练框架的速度提升。

Nov, 2023

PyTorch-Direct：通过 GPU 中心数据访问实现对具有不规则访问的大规模图神经网络训练的支持

PyTorch-Direct 通过引入 GPU-centric 数据访问范式为 GNN 训练提供了高效的数据访问方式，大大缩短了数据传输时间，提高了训练速度，并减少了训练过程中对 CPU 资源的利用，从而节省了系统功率。

Jan, 2021

基于数据管理的 GNN 训练系统的综合评估

该论文从数据管理的角度对图神经网络 (GNN) 训练进行了回顾，并提供了代表性方法的全面分析和评估，通过在各种基准数据集上进行广泛实验展示了许多有趣且有价值的结果，同时提供了一些从实验中学到的实用技巧，有助于未来设计 GNN 训练系统。

Nov, 2023

在实际的内存处理系统上加速图神经网络

图神经网络（GNNs）是分析图结构数据的新兴机器学习模型。本研究提出了一个高效的 ML 框架 PyGim，通过在实际的 PIM 系统中加速 GNNs，解决了 GNNs 中内存密集型核心所面临的数据移动瓶颈。通过提供混合 GNN 执行，我们证明 PyGim 在比特尔至强 CPU 上的性能平均提升了 3.04 倍，并实现了比 CPU 和 GPU 系统更高的资源利用率。该研究为软件、系统和硬件设计者提供了有价值的建议，并将开源 PyGim 以推动 PIM 系统在 GNNs 中的广泛应用。

Feb, 2024

具有概率邻域扩展分析和缓存的通信高效图神经网络

本文提出了一种在分布式设置下使用节点采样的图神经网络的小批量训练与推断的方案，通过分析多跳邻域采样时的节点包含概率（VIP），提出基于 VIP 驱动的缓存策略，显著减少通信量，保持本地训练效率和可扩展性，并在常用节点特征上用 GPU 存储。通过 Open Graph Benchmark 数据集进行的实验表明，使用 SALIENT++ 在 8 个单 GPU 机器上训练 3 层 GraphSAGE 模型的速度比使用 SALIENT 在 1 个单 GPU 机器上快 7.1 倍，在 8 个单 GPU 机器上比使用 DistDGL 快 12.7 倍。

May, 2023