Nov, 2023

NeutronOrch: 在 CPU-GPU 异构环境下重新思考基于样本的 GNN 训练

PDF
TL;DR提出了 NeutronOrch，这是一个用于基于样本的 GNN 训练的系统，它采用基于层的任务编排方法，实现了 CPU 和 GPU 的平衡利用，具有 4.61 倍的性能加速。
graph neural networksgnnsneutronorchtask orchestrating methodssample-based gnn training
发现论文，激发创造
  • 巨型图上混合 CPU-GPU 训练的全局邻居采样

    这篇论文提出了一种全局节点采样算法，名为 Global Neighborhood Sampling，以满足大规模复杂图的图神经网络训练需求，该算法能使混合 CPU-GPU 训练的高效训练成为可能，并通过实验展现了比传统邻居采样方法更加高效的结果。

    Jun, 2021

  • GraphACT: 在 CPU-FPGA 异构平台上加速 GCN 训练

    通过 CPU-FPGA 异构系统，我们设计了一种新型加速器，通过算法 - 架构协同优化，提升 Graph Convolutional Networks 训练的速度。我们采用子图算法，优化特征传播，并提出基于 systolic array 的设计，实现了如此高效的加速。在 Xilinx Alveo U200 及 40 核 Xeon 服务器上，我们的设计比现有多核平台的最新实现快一个数量级，且几乎没有精度损失。

    Dec, 2019

  • BatchGNN：在非常大的图上高效的基于 CPU 的分布式 GNN 训练

    BatchGNN 是一个分布式 CPU 系统，可用于高效地在千兆字节级别的图形上训练图神经网络，通过在一个通信中绑定多个子图采样和特征提取以减少冗余特征提取、提供整合图分割和本地 GNN 层实现来提高运行时间，可以缓存聚合输入特征以进一步减少采样开销，相对于 DistDGL，GNN 的平均速度加快了 3 倍，在三个 OGBN 图表上训练的 GNN 模型优于分布式 GPU 系统 P3 和 DistDGLv2 的运行时间，并且可以扩展到千兆字节级别的图形。

    Jun, 2023

  • GNNBENCH: 公平高效的单 GPU 图神经网络系统基准测试

    通过 GNNBench 基准平台，我们提出了一种新的协议来交换捕获的张量数据，支持系统 API 中的自定义类，并允许将同一系统模块自动集成到诸多深度学习框架中，如 PyTorch 和 TensorFlow，这帮助我们发现了几个需要关注的测量问题。

    Apr, 2024

  • DistGNN：大规模图神经网络的可扩展分布式训练

    该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

    Apr, 2021

  • 使用快速采样和流水线加速图神经网络的训练和推断

    使用邻域采样的小批量训练方法加速图神经网络的训练和推理过程，可在多 GPU 环境下实现。作者采用性能优化的采样器、共享内存并行化的策略以及批量传输与 GPU 计算流水线的方法对算法进行改进，并在多个基准数据集和 GNN 架构上进行了实验，取得了显著的加速效果。

    Oct, 2021

  • Holmes: 面向集群间具有异构 NIC 环境的分布式训练

    Holmes 是一个专门为 LLMs 设计的训练框架，通过巧妙构建数据和模型并行策略，在异构 NIC 环境下实现了可扩展性，并在大多数情况下达到接近 RDMA 网络性能的学习效率，同时与其他主流 LLM 框架无缝集成。

    Dec, 2023

  • PyTorch-Direct：通过 GPU 中心数据访问实现对具有不规则访问的大规模图神经网络训练的支持

    PyTorch-Direct 通过引入 GPU-centric 数据访问范式为 GNN 训练提供了高效的数据访问方式，大大缩短了数据传输时间，提高了训练速度，并减少了训练过程中对 CPU 资源的利用，从而节省了系统功率。

    Jan, 2021

  • 动态图神经网络的高效扩展

    本文介绍了一种在大规模动态图上训练分布式算法的方法，采用图差分策略和数据分布技术极大地降低了传输和运行时间，并在使用 128 个 GPU 的系统上取得了高达 30 倍的加速。

    Sep, 2021

  • Dorylus: 分布式 CPU 服务器和无服务器线程训练经济实惠、可伸缩和准确的 GNN

    本研究提出 Dorylus 分布式系统，借助无服务器计算进行图形神经网络的训练，将计算分离并运用 Lambda 线程实现大规模 sparse graph 的训练，相比 GPU 服务器，提供了更高的性能与更低的成本。

    May, 2021