ICLRNov, 2021

本地学习，整体纠错：一种用于训练图神经网络的分布式算法

PDF
TL;DR本研究提出了一种基于图神经网络的、名称为 $ ext {{Learn Locally, Correct Globally}}$ (LLCG) 的、分布式算法，通过本地训练减少通信和内存开销，并利用全局服务器修正减少性能退化问题。实验结果显示 LLCG 可以显著提高效率且不损害性能。
graph neural networksdistributed algorithmcommunication-efficientmodel averagingperformance degradation
发现论文，激发创造
  • 解决图神经网络中本地化训练数据的影响

    通过规范化方法，适应并改善模型在局部训练数据和整个图预测过程中的表现，提高图神经网络模型对非分布式数据的适应能力和泛化性能。

    Jul, 2023

  • 分布式图神经网络训练：综述

    这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

    Nov, 2022

  • 使用子图近似进行图卷积网络的分布式训练

    本文介绍了一种通过子图近似方案，在减小同步开销、降低内存占用的同时，解决分布式训练非独立同分布图形数据（如图卷积网络）中信息丢失与准确性问题的训练策略。

    Dec, 2020

  • 节点分类的全局 - 局部图神经网络

    提出了一种名为 Global-Local-GNN (GLGNN) 的方法，通过利用全局和局部信息以及节点标签和特征的学习，提高了节点分类 GNNs 的性能，并显示了全局信息利用对节点分类的重要性。

    Jun, 2024

  • 图卷积网络分布式训练

    本文提出了一种分布式算法框架来训练图卷积网络，利用了输入数据的有意义的关系结构，并在不同代理之间分割数据图表达的优化通信拓扑结构，提出了一种分布式梯度下降算法来解决 GCN 训练问题，并建立了一套评价通信拓扑的优化准则。

    Jul, 2020

  • 大规模网络定位的图神经网络

    本研究采用图神经网络（GNN）解决经典的非线性回归问题 —— 网络定位，并发现 GNN 在精度、鲁棒性和计算时间方面潜在成为大规模网络定位的最佳解决方案，适当的通信范围阈值对其高性能至关重要。此外，本研究提出的基于 GNN 的方法通过数据聚合、非线性可见性去噪和低通滤波等技术使其在邻居选择阈值上的优化成为可能。仿真结果表明，该方法远优于先前的最新基准。

    Oct, 2020

  • 具有周期全局引导的本地监督学习

    提出一种周期性引导的本地化学习方法，旨在提升神经网络的泛化能力。该方法将全局目标函数反复引入神经网络的本地化损失训练中，并在多个模块的配置中具有重要的性能提升。

    Aug, 2022

  • 鲁棒大规模网络定位的注意力图神经网络

    提出了一种基于图神经网络的网络定位方法，通过结合关注机制，在严重的非直线视线传播情况下实现了卓越的稳定性和准确性，消除了离线校准或非直线视线识别的需求。

    Nov, 2023

  • 变通信速率下的大规模图神经网络分布式训练

    在分布式图神经网络训练中引入了一种变化的压缩方案，用于减少通信量而不降低学习模型的准确性，并通过理论分析和实证结果证明了其性能优于完全通信情况下的压缩比。

    Jun, 2024

  • SpreadGNN: 面向图神经网络的无服务器多任务联邦学习

    本研究提出 SpreadGNN，是一种新型的多任务联邦学习框架，能够在无中心服务器的情况下操作，使用一个具有收敛保证的新型优化算法 Decentralized Periodic Averaging SGD (DPA-SGD) 来解决分散式多任务学习问题，并在各种非独立同分布的分布式图层次 molecular property prediction 数据集上验证了其有效性。

    Jun, 2021