Feb, 2024

基于采样的带消息传递神经网络分布式训练

PDF
TL;DR本研究介绍了一种基于领域分解的分布式训练和推理方法，用于消息传递神经网络 (MPNN)。我们的目标是解决随着节点数量增加，无线边缘网络的规模化问题。通过我们的分布式训练方法，并结合 NystrÖm 近似采样技术，我们提出了一种可扩展的图神经网络，称为 DS-MPNN (D 和 S 分别代表分布式和采样)，能够扩展到 O (10^5) 个节点。我们在两个案例上验证了我们的采样和分布式训练方法：(a) Darcy 流数据集和 (b) 二维翼型稳态 RANS 模拟，与单 GPU 实现和基于节点的图卷积网络 (GCN) 进行比较。DS-MPNN 模型展示了与单 GPU 实现相当的准确性，可以容纳比单 GPU 变体 (S-MPNN) 更多的节点，并且明显优于基于节点的 GCN。
domain-decomposition-baseddistributed traininginference approachgraph neural networksscaling edge-based
发现论文，激发创造
  • 大规模随机图上消息传递神经网络的泛化分析

    研究了 MPNN 在图分类和回归中的泛化误差，表明 MPNN 的复杂度越高，泛化差距越大；同时，不仅训练样本数，而且图中平均节点数对泛化差距也有影响。从统一收敛结果导出泛化界限，表明在图上应用 MPNN 可以逼近离散化的几何模型上的 MPNN。

    Feb, 2022

  • DistGNN：大规模图神经网络的可扩展分布式训练

    该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

    Apr, 2021

  • 基于分布式矩阵采样的图神经网络训练

    该论文的主要贡献是在分布式图神经网络训练的采样步骤中提出了减少通信的新方法，其中包括基于矩阵的批量采样方法，用于表示采样为稀疏矩阵乘法（SpGEMM）并一次采样多个小批量。此外，还展示了使用简单的全互连交换合理复制特征数据可以优于当前的分布式图神经网络训练特征提取步骤的方法。

    Nov, 2023

  • 分布式图神经网络训练：综述

    这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

    Nov, 2022

  • 使用快速采样和流水线加速图神经网络的训练和推断

    使用邻域采样的小批量训练方法加速图神经网络的训练和推理过程，可在多 GPU 环境下实现。作者采用性能优化的采样器、共享内存并行化的策略以及批量传输与 GPU 计算流水线的方法对算法进行改进，并在多个基准数据集和 GNN 架构上进行了实验，取得了显著的加速效果。

    Oct, 2021

  • 大规模知识图谱推理的动态修剪信息传递网络

    本研究提出了基于动态修剪的消息传递网络 (DPMPN) 来进行大规模知识图谱推理，该模型使用图形式的注意力机制来动态构造和扩展子图，并且能够对输入进行建模，可同时提供图形式的解释和准确的预测，并在知识库完成任务中胜过大部分现有方法。

    Sep, 2019

  • 通过虚拟节点的概率图重连

    隐式重连消息传递神经网络 (IPR-MPNNs) 整合了概率性图重连机制，解决了信息传递受限和结构瓶颈导致的问题，实现了跨较大距离的消息传递，并在多个图数据集上取得了最先进的性能，同时保持了显著更快的计算效率。

    May, 2024

  • 在消息传递中注入池化以提升图神经网络性能

    该研究提出了一种新的、适应性强的信息传递框架 ——bilateral-MP，利用节点类别信息估计成对的模块化梯度，并在聚合函数应用时利用梯度进一步保留全局图结构，在五个中等规模基准数据集上的实验表明，bilateral-MP 可以有效防止过度平滑导致的性能降低。

    Feb, 2022

  • 分布式内存系统上的可扩展图卷积网络训练

    我们提出了一种高度并行的算法，用于效放缩大处理器计数的图卷积网络的训练。我们利用图的顶点划分，在处理器之间使用非阻塞点对点通信操作以获得更好的可伸缩性。我们基于超图划分模型提出一种稀疏矩阵划分方案，展示了所提出算法在真实世界的图数据集上比替代解决方案实现了相当快的加速（包括在亿级图上的表现）。

    Dec, 2022

  • 使用双重信息传递的图卷积网络进行子图同构计数和匹配

    本文提出一种基于边 - 顶点转换和对偶图同构性质的双重消息传递神经网络 (DMPNNs) 模型，用于在异步方式下加强子结构表示学习，适用于子图同构计数和匹配以及无监督节点分类任务。大量实验在合成和真实异构图中展示了 DMPNNs 结合节点和边表示学习的鲁棒性能，代码可在给出的网址中获取。

    Dec, 2021