本文研究机器学习领域的图半监督学习,提出了基于图卷积网络的深度学习方法,解决了图卷积网络机制不清晰及需要大量标注数据的问题,并针对浅层结构的限制提出了弱监督训练的方法。经过广泛实验验证,研究结果具有实际应用价值。
Jan, 2018
本文提出了并行化技术,为图采样GCN提供卓越的可扩展性性能,在不妥协准确性的情况下,在非常大的图上实现了优秀的性能。具体地,我们保证了GCN的高效训练,并在计算和通信方面节约了数量级的开销,同时,我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。
Oct, 2018
本文介绍了Cluster-GCN算法,通过利用图聚类结构,将邻域搜索限制在一个由图聚类算法确定的密集子图中,从而实现大规模GCN的SGD训练,在保证可比性测试精度的情况下显著提高了内存和计算效率。
May, 2019
本研究提出了一种高效的图形卷积网络(GCN)训练框架L-GCN,该框架通过在训练期间解耦功能聚合和功能转换,大大降低了时间和内存复杂度,并提出了L²-GCN,用于每个层学习控制器,可以自动调整每个层的训练时期。实验表明,在不依赖于数据集大小的一致内存使用情况下,L-GCN比现有技术快至少一个数量级,同时保持可比的预测性能。
Mar, 2020
本文提出了一种分布式算法框架来训练图卷积网络,利用了输入数据的有意义的关系结构,并在不同代理之间分割数据图表达的优化通信拓扑结构,提出了一种分布式梯度下降算法来解决GCN训练问题,并建立了一套评价通信拓扑的优化准则。
Jul, 2020
本文提出了一种通信高效的邻居采样方法,用于分布式训练图卷积网络,并在节点分类基准测试中证明了该方法显著降低了通信开销,损失很少的准确性。
Jan, 2021
本文介绍了一种基于缓存GCN中间计算结果的方法IGLU,从而实现懒惰更新和降低计算成本,并通过对Benchmark实验的测试得出IGLU相对于标准SGD方法可以减少高达88%的计算量,并提升1.2%的准确度。
Sep, 2021
本研究提出一种名为BNS-GCN的简单而有效的方法,采用随机边界节点采样,提高了分布式GCN训练的吞吐量16.2倍,减少了内存使用量高达58%,同时保持全图精度的稳定性,为实现大规模GCN训练开辟了一条新的途径。
Mar, 2022
我们提出了一种高度并行的算法,用于效放缩大处理器计数的图卷积网络的训练。我们利用图的顶点划分,在处理器之间使用非阻塞点对点通信操作以获得更好的可伸缩性。我们基于超图划分模型提出一种稀疏矩阵划分方案,展示了所提出算法在真实世界的图数据集上比替代解决方案实现了相当快的加速(包括在亿级图上的表现)。
Dec, 2022
采用模型并行而非图并行的分布式全局图神经网络训练方法GNNPipe,结合基于分块的流水线训练方法以及混合并行性,以减少通信开销并加快训练时间,同时保持相当的模型准确性和收敛速度。
Aug, 2023