Jul, 2023

DistTGL: 分布式基于记忆的时间图神经网络训练

PDF
TL;DR本文提出一种有效可扩展的方法 DistTGL，该方法通过增强 TGNN 模型、改进训练算法和优化系统，实现了在分布式 GPU 集群上训练内存基础全局连通图神经网络（memory-based temporal graph neural networks）。实验表明，DistTGL 算法比同类单机方法在准确性和训练吞吐量方面分别提高了 14.5% 和 10.17 倍。
memory-basedtemporal graph neural networksdistributed gpu clustersconvergence speeduptraining throughput
发现论文，激发创造
  • TGL：针对数十亿规模图的时间 GNN 训练的通用框架

    本文提出了 TGL，一个适用于大规模离线图神经网络的统一框架，在多个 GPU 上进行训练，该框架包括时间采样器、邮箱、节点内存模块、内存更新器和消息传递引擎等五个主要组件，并通过随机块调度技术解决了训练大批量样本时过时的节点内存等问题。在多个小规模和两个大规模数据集上的实验结果表明，TGL 可以实现更快的训练速度和类似或更好的准确性。

    Mar, 2022

  • 亿级图的分布式图神经网络训练

    本文介绍了 DistDGL 系统，作为基于 Deep Graph Library（DGL）进行开发的图神经网络（GNN）的分布式训练系统，具有高效、可扩展性等优点。该系统采用了高质量且轻量级的最小割图划分算法，并支持非本地节点组成的自我网络进行小批量训练。经过优化后，该系统可以在线性速度下训练高质量的模型，并且在 16 台机器上只需 13 秒完成 100 万节点和 30 亿边数的图的训练。

    Oct, 2020

  • DistGNN：大规模图神经网络的可扩展分布式训练

    该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

    Apr, 2021

  • LasTGL: 大规模时间图学习的工业框架

    LasTGL 是一个用于解决时间图学习问题的产业框架，它整合了常见的时间图学习算法的统一和可扩展实现，并提供了全面的时间图数据集、TGNN 模型和工具，适用于初学者和专业深度学习从业者。

    Nov, 2023

  • PRES：面向可扩展内存的动态图神经网络

    研究了在大规模时间批处理的情况下，高效训练 MDGNNs 的方法，主要解决了时间不连续性的问题，并提出了 PRES 方法来实现更大的时间批处理，快速训练 MDGNNs。

    Feb, 2024

  • 动态图神经网络的高效扩展

    本文介绍了一种在大规模动态图上训练分布式算法的方法，采用图差分策略和数据分布技术极大地降低了传输和运行时间，并在使用 128 个 GPU 的系统上取得了高达 30 倍的加速。

    Sep, 2021

  • BatchGNN：在非常大的图上高效的基于 CPU 的分布式 GNN 训练

    BatchGNN 是一个分布式 CPU 系统，可用于高效地在千兆字节级别的图形上训练图神经网络，通过在一个通信中绑定多个子图采样和特征提取以减少冗余特征提取、提供整合图分割和本地 GNN 层实现来提高运行时间，可以缓存聚合输入特征以进一步减少采样开销，相对于 DistDGL，GNN 的平均速度加快了 3 倍，在三个 OGBN 图表上训练的 GNN 模型优于分布式 GPU 系统 P3 和 DistDGLv2 的运行时间，并且可以扩展到千兆字节级别的图形。

    Jun, 2023

  • 基于时间图的动态图深度学习

    本文提出了一种称为 TGN 的新型深度学习框架，可以有效地在动态图形学中学习演化特征或连接。

    Jun, 2020

  • GraNNDis: 面向大规模集群的高效统一分布式训练框架用于深度图神经网络

    GraNNDis 是一个高效的分布式 GNN 训练框架，通过共享预加载、扩展感知采样和合作批处理三种技术，解决了大图和深层训练中的通信和内存问题，实现了超越现有分布式 GNN 训练框架的速度提升。

    Nov, 2023

  • 关于时间图学习算法的泛化能力：理论洞察和简化方法

    本研究通过研究不同 TGL 算法的广义能力以及与 GNN-/RNN-based TGL 方法的层数 / 步数和特征 - 标签对齐度得分的关系建立了理论基础，提出了 Simplified-Temporal-Graph-Network，该算法具有小的泛化误差、改进的整体性能和较低的模型复杂性。实验结果表明了我们的方法的有效性，理论发现和提出的算法为未来研究的实际 TGL 算法设计提供了重要见解。

    Feb, 2024