SpreadGNN: 面向图神经网络的无服务器多任务联邦学习

Jun, 2021

SpreadGNN: 面向图神经网络的无服务器多任务联邦学习

SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural Networks

Chaoyang He, Emir Ceyani, Keshav Balasubramanian, Murali Annavaram, Salman Avestimehr

TL;DR本研究提出 SpreadGNN，是一种新型的多任务联邦学习框架，能够在无中心服务器的情况下操作，使用一个具有收敛保证的新型优化算法 Decentralized Periodic Averaging SGD (DPA-SGD) 来解决分散式多任务学习问题，并在各种非独立同分布的分布式图层次 molecular property prediction 数据集上验证了其有效性。

Abstract

graph neural networks (GNNs) are the first choice methods for graph machine learning problems thanks to their ability to learn state-of-the-art level representations from graph-structured data. However, centralizing a massive amount of real-world graph data for GNN training is prohibit

graph neural networks federated learning spreadgnn decentralized periodic averaging sgd molecular property prediction

发现论文，激发创造

FedGraphNN：图神经网络联邦学习系统和基准

本研究介绍 FedGraphNN，一个用于解决中心化实际世界图形数据训练 GNN 所面临的隐私问题的开放式分布式学习平台，涵盖各种数据集，流行的 GNN 模型以及 FL 算法，维护源代码的统一公式和安全高效的系统支持。

Apr, 2021

FedGKD: 在联邦图神经网络中释放协作的力量

提出了 FedGKD，一种新的联邦图神经网络框架，利用客户端图数据集提取更好描述任务相关性的任务特征，并引入一种对全局协作结构感知的新型服务器端聚合机制，通过在六个不同规模的真实世界数据集上进行广泛实验，证明该框架的优越性。

Sep, 2023

分布式图神经网络训练：综述

这篇综述论文分析了分布式图神经网络训练的三个挑战以及通过四类优化技术解决这些挑战的方法：GNN 数据分区、GNN 批量生成、GNN 执行模式和 GNN 通信协议。最后，本文总结了现有的多 GPU、GPU 集群和 CPU 集群的分布式 GNN 系统，并就可伸缩 GNNs 的未来方向进行了讨论。

Nov, 2022

GraNNDis: 面向大规模集群的高效统一分布式训练框架用于深度图神经网络

GraNNDis 是一个高效的分布式 GNN 训练框架，通过共享预加载、扩展感知采样和合作批处理三种技术，解决了大图和深层训练中的通信和内存问题，实现了超越现有分布式 GNN 训练框架的速度提升。

Nov, 2023

DistGNN：大规模图神经网络的可扩展分布式训练

该论文介绍 DistGNN，它使用共享内存实现 CPU 集群上的完全批量训练，减小了通过最小顶点切割图分区算法通信的要求，使用一系列延迟更新算法避免了通信，并在 Reddit、OGB-Products、OGB-Papers 和 Proteins 等常见 GNN 基准数据集上获得了 3.7 倍到 97 倍的加速。

Apr, 2021

边缘端的 GNN：在分布式边缘服务器上实现成本有效的图神经网络处理

本文系统研究了多层异构边缘网络上的分布式图神经网络处理的成本优化，发现图神经网络的独特计算模式含有二次次模性质，在此基础上设计了基于图切割的迭代解法，并通过实验评估证明了其在成本降低、收敛速度等方面均具有优异性能。

Oct, 2022

亿级图的分布式图神经网络训练

本文介绍了 DistDGL 系统，作为基于 Deep Graph Library（DGL）进行开发的图神经网络（GNN）的分布式训练系统，具有高效、可扩展性等优点。该系统采用了高质量且轻量级的最小割图划分算法，并支持非本地节点组成的自我网络进行小批量训练。经过优化后，该系统可以在线性速度下训练高质量的模型，并且在 16 台机器上只需 13 秒完成 100 万节点和 30 亿边数的图的训练。

Oct, 2020

联邦图学习 -- 一个立场论文

在分布式数据隐私敏感的场景下，集中式训练图神经网络模型面临一些挑战，因此我们提出了一种名为联邦图学习（FGL）的方法，借助于联邦学习技术在保持数据去中心化的同时共同训练模型，并对 FGL 进行了分类、讨论、挑战和应用倡议。

May, 2021

混合联邦图卷积神经网络：一种高效的混合联邦学习算法

提出了一种称为 FedGraph 的泛化算法，该算法使用图卷积神经网络从客户端的子集中学习特征，捕捉特征共享信息，并采用简单但有效的聚类算法聚合每个客户端的深度神经网络生成的特征，同时保护数据隐私。

Apr, 2024

脉冲神经网络联邦学习

本研究提出了一个分散的、保护隐私的 Spiking Neural Networks 训练框架，在 CIFAR10 和 CIFAR100 基准测试中，我们发现在联邦学习的大规模客户端下，相较于人工神经网络，Spiking Neural Networks 能够提供超过 15% 的总体准确性并达到多达 5.3 倍的能源效率。

Jun, 2021