熵感知训练方法用于快速准确的分布式图神经网络

Nov, 2023

熵感知训练方法用于快速准确的分布式图神经网络

Entropy Aware Training for Fast and Accurate Distributed GNN

Dhruv Deshmukh, Gagan Raj Gupta, Manisha Chawla, Vishwesh Jatala, Anirban Haldar

TL;DR通过改进分布式框架和训练技术，提高了大规模图神经网络的训练效率和准确性，减少了数据分布和类别不均衡引起的性能下降，并在基准测试中实现了训练时间加速和 F1 分数的提升。

Abstract

Several distributed frameworks have been developed to scale Graph Neural Networks (GNNs) on billion-size graphs. On several benchmarks, we observe that the graph partitions generated by these frameworks have hete

distributed frameworks graph neural networks graph partitions class imbalance training techniques

发现论文，激发创造

大规模图上分布式神经网络训练的简化：随机分割提高模型聚合性能

我们提出了一种分布式 GNN 训练的简化框架，通过随机分配节点或超级节点来划分训练图，以改善数据均匀性并最小化跨节点之间的梯度和损失函数差异。在社交网络和电子商务网络上的实验证明，我们的方法在速度和性能上都达到了最先进水平，并比最快的基线提供了 2.31 倍的加速度。

May, 2023

图神经网络中的熵感知消息传递

本文介绍了一种受物理启发的 GNN 模型，用于改善深度图神经网络中的过度平滑问题，该模型与现有的 GNN 架构相集成，引入了一种熵感知的消息传递项，在节点聚合过程中执行熵的梯度上升，从而在嵌入中保留一定程度的熵。我们通过对多个常见数据集进行比较分析，评估了我们的模型与最先进的 GNN 模型的性能。

Mar, 2024

分布式图神经网络训练的分区策略实验比较

本文研究了图分区对分布式图神经网络训练的有效性，发现图分区是一个关键的预处理步骤，能够大大减少训练时间和内存占用，同时也证明了分区所需的时间可以通过减少图神经网络训练时间加以弥补。

Aug, 2023

亿级图的分布式图神经网络训练

本文介绍了 DistDGL 系统，作为基于 Deep Graph Library（DGL）进行开发的图神经网络（GNN）的分布式训练系统，具有高效、可扩展性等优点。该系统采用了高质量且轻量级的最小割图划分算法，并支持非本地节点组成的自我网络进行小批量训练。经过优化后，该系统可以在线性速度下训练高质量的模型，并且在 16 台机器上只需 13 秒完成 100 万节点和 30 亿边数的图的训练。

Oct, 2020

知识图谱嵌入模型的扩展

为训练图神经网络中的知识图嵌入模型提供可扩展解决方案，其中算法策略包括独立分区、基于约束的负样本采样和边缘小批量训练，以避免跨分区数据传输，具有 16 倍的加速效果，而模型性能与非分布式方法相当。

Jan, 2022

使用子图近似进行图卷积网络的分布式训练

本文介绍了一种通过子图近似方案，在减小同步开销、降低内存占用的同时，解决分布式训练非独立同分布图形数据（如图卷积网络）中信息丢失与准确性问题的训练策略。

Dec, 2020

边缘端的 GNN：在分布式边缘服务器上实现成本有效的图神经网络处理

本文系统研究了多层异构边缘网络上的分布式图神经网络处理的成本优化，发现图神经网络的独特计算模式含有二次次模性质，在此基础上设计了基于图切割的迭代解法，并通过实验评估证明了其在成本降低、收敛速度等方面均具有优异性能。

Oct, 2022

DistGNN：大规模图神经网络的可扩展分布式训练

该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

Apr, 2021

分布式图神经网络训练：综述

这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

Nov, 2022

CATGNN: 图神经网络的高效可扩展分布式训练

CATGNN 是一个成本效益高且可扩展的分布式 GNN 训练系统，专注于在有限计算资源下扩展 GNN 训练到十亿规模或更大规模的图，并提出了一种名为 SPRING 的新型流式分区算法来进行分布式 GNN 训练。在 16 个开放数据集上验证了 CATGNN 与 SPRING 的正确性和有效性，尤其是证明了 CATGNN 能够处理最大的公开可用数据集，并在平均复制因子上显著优于最先进的分区算法 50%。

Apr, 2024