图卷积网络分布式训练
本文研究机器学习领域的图半监督学习,提出了基于图卷积网络的深度学习方法,解决了图卷积网络机制不清晰及需要大量标注数据的问题,并针对浅层结构的限制提出了弱监督训练的方法。经过广泛实验验证,研究结果具有实际应用价值。
Jan, 2018
本文利用图信号处理来表征图神经网络(GNNs)的表征空间,讨论了图卷积滤波器在GNNs中的作用,并展示了这类滤波器所建立的任何架构都具有置换等变性和对网络拓扑的稳定性的基本属性。然后,我们讨论了扩展了边变量和自回归移动平均图滤波器的GNNs以及它们的属性,并最终研究了在推荐系统和学习机器人群体的分散式控制器中使用GNNs的相关研究。
Mar, 2020
本研究提出了一种高效的图形卷积网络(GCN)训练框架L-GCN,该框架通过在训练期间解耦功能聚合和功能转换,大大降低了时间和内存复杂度,并提出了L²-GCN,用于每个层学习控制器,可以自动调整每个层的训练时期。实验表明,在不依赖于数据集大小的一致内存使用情况下,L-GCN比现有技术快至少一个数量级,同时保持可比的预测性能。
Mar, 2020
本文介绍了一种通过子图近似方案,在减小同步开销、降低内存占用的同时,解决分布式训练非独立同分布图形数据(如图卷积网络)中信息丢失与准确性问题的训练策略。
Dec, 2020
PipeGCN是一种隐藏分布式图卷积网络(GCN)培训中节点特征和特征梯度通信开销的简单而有效的方案,在训练吞吐量(1.7倍〜28.5倍)大幅提高的同时实现与现有全图培训方法相同的精度。
Mar, 2022
本研究提出一种名为BNS-GCN的简单而有效的方法,采用随机边界节点采样,提高了分布式GCN训练的吞吐量16.2倍,减少了内存使用量高达58%,同时保持全图精度的稳定性,为实现大规模GCN训练开辟了一条新的途径。
Mar, 2022
这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法:GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后,本文总结了现有的多GPU、GPU集群和CPU集群的分布式GNN系统,并就可伸缩GNNs的未来方向进行了讨论。
Nov, 2022
我们提出了一种高度并行的算法,用于效放缩大处理器计数的图卷积网络的训练。我们利用图的顶点划分,在处理器之间使用非阻塞点对点通信操作以获得更好的可伸缩性。我们基于超图划分模型提出一种稀疏矩阵划分方案,展示了所提出算法在真实世界的图数据集上比替代解决方案实现了相当快的加速(包括在亿级图上的表现)。
Dec, 2022
在分布式图神经网络训练中引入了一种变化的压缩方案,用于减少通信量而不降低学习模型的准确性,并通过理论分析和实证结果证明了其性能优于完全通信情况下的压缩比。
Jun, 2024