Feb, 2024

MSPipe: 基于时效感知流水线的高效时间 GNN 训练

PDF
TL;DR提出了 MSPipe，一种提高 MTGNN 训练效率的通用且高效的框架，通过将陈旧性整合到内存模块中，通过在线管道调度算法可以在降低陈旧度的同时打破时间依赖，提高内存获取效率，增强训练稳定性和模型准确性。实验结果显示，MSPipe 在不损失准确性的情况下可以实现高达 2.45 倍的加速，成为有效的 MTGNN 训练解决方案。
发现论文，激发创造
  • PRES：面向可扩展内存的动态图神经网络

    研究了在大规模时间批处理的情况下，高效训练 MDGNNs 的方法，主要解决了时间不连续性的问题，并提出了 PRES 方法来实现更大的时间批处理，快速训练 MDGNNs。

    Feb, 2024

  • PipeGCN：基于流水线特征通信的图卷积网络高效全图训练

    PipeGCN 是一种隐藏分布式图卷积网络（GCN）培训中节点特征和特征梯度通信开销的简单而有效的方案，在训练吞吐量（1.7 倍〜28.5 倍）大幅提高的同时实现与现有全图培训方法相同的精度。

    Mar, 2022

  • 重新思考动态图神经网络中的内存陈旧问题

    本文针对动态数据在不存在事件时导致的记忆陈旧的问题提出了更新的嵌入模块，并且通过使用邻居节点的记忆信息来解决记忆陈旧问题，同时提出将最相似的节点插入到邻居节点中。通过 fine-tuning 模型超参数，特别是时间阈值和学习可学相似度度量标准，我们的方法与 TGN 相比有 slight improvement 。

    Sep, 2022

  • GNNPipe: 使用流水线模型并行加速分布式全图 GNN 训练

    采用模型并行而非图并行的分布式全局图神经网络训练方法 GNNPipe，结合基于分块的流水线训练方法以及混合并行性，以减少通信开销并加快训练时间，同时保持相当的模型准确性和收敛速度。

    Aug, 2023

  • 图管道：通过图管道并行提高 DNN 训练的性能和可扩展性

    深度神经网络的管道并行化方法 (GPP) 以及分布式系统 GraphPipe 通过优化微批量进度和并行训练实现了对现有管道并行系统如 PipeDream 和 Piper 的提速和搜索时间的降低。

    Jun, 2024

  • DistTGL: 分布式基于记忆的时间图神经网络训练

    本文提出一种有效可扩展的方法 DistTGL，该方法通过增强 TGNN 模型、改进训练算法和优化系统，实现了在分布式 GPU 集群上训练内存基础全局连通图神经网络（memory-based temporal graph neural networks）。实验表明，DistTGL 算法比同类单机方法在准确性和训练吞吐量方面分别提高了 14.5% 和 10.17 倍。

    Jul, 2023

  • PipeMare：异步管道并行 DNN 训练

    该论文探讨了管道并行（Pipeline parallelism）训练神经网络的各种技术，提出了一种简单而健壮的训练方法，名为 PipeMare，可以在保持与同步训练相当的模型质量的情况下提高硬件利用率，允许高效使用细粒度的并行计算。在 ResNet 和 Transformer 网络上进行测试，异步训练允许 PipeMare 使用更少的内存或更高的管道利用率。

    Oct, 2019

  • 使用快速采样和流水线加速图神经网络的训练和推断

    使用邻域采样的小批量训练方法加速图神经网络的训练和推理过程，可在多 GPU 环境下实现。作者采用性能优化的采样器、共享内存并行化的策略以及批量传输与 GPU 计算流水线的方法对算法进行改进，并在多个基准数据集和 GNN 架构上进行了实验，取得了显著的加速效果。

    Oct, 2021

  • 基于在线动态嵌入预测的减少陈旧性的分布式 GNN 训练

    SAT 是一种新颖的可扩展分布式 GNN 训练框架，通过建立包括时序图模型以预测未来嵌入的模型，有效减轻了缓存历史嵌入的陈旧问题，从而在多个大规模图数据集上实现了更好的性能和收敛速度。

    Aug, 2023

  • GPipe：使用流水线并行化高效训练巨型神经网络

    GPipe 是一种管道并行库，它提供了一种高效进行模型并行化的方式，可以将不同子层序列分别放在不同的加速器上，因此可以有效地将各种不同的网络扩展到巨大的规模，并且能够实现快速的线性加速，通过对两个不同任务的训练，证明了 GPipe 的优势。

    Nov, 2018