有限节点标签的联邦学习
本文对子图联邦学习问题提出两种主要技术,即基于 FedAvg 的 FedSage 模型和带有缺失邻居生成器的 FedSage + 模型,以协作地训练功能强大且具有泛化能力的图形挖掘模型而无需直接共享图形数据。实验结果表明我们所提出的方法在四个真实世界的图形数据集中,表现出了良好的效果和效率,并且在理论上证明了其对于全局图的泛化能力。
Jun, 2021
提供了第一个 FL 框架 (GraphFL),用于解决非 IID 问题,处理新标签域的任务以及利用未标记的图形数据,使用代表性的图神经网络作为 GraphSSC 方法,并在多个图形数据集上评估,结果表明 GraphFL 显着优于比较的 FL 基线,GraphFL 通过自我训练可以获得更好的性能。
Dec, 2020
本文提出了一种用于学生建模的多层个性化联邦学习 (Multi-Layer Personalized Federated Learning, MLPFL) 方法,旨在优化不同层次学生群组标准的推断准确性。该方法通过分布式训练以元梯度更新推导出团体内个人化模型,并结合多种学生行为模态,实现了个性化建模以提高跨不同学生子群组的预测准确性和稳定性。在三个真实的在线课程数据集上的实验表明,该方法在各种学生子群组中均能取得显著的预测质量改进,并为不同的学生子群组分别提取出特征聚类成果。
Dec, 2022
我们开发了一个 FL 框架,其中维护一个全局的 NGM 模型,通过学习本地 NGM 模型的平均信息,同时保持训练数据在客户端环境中。我们的设计 FedNGMs 避免了神经元匹配框架的问题,如 Federated Matched Averaging,在这些框架中存在模型参数膨胀的问题。我们的全局模型大小在整个过程中保持恒定。对于客户端具有不包含在组合全局分布中的本地变量的情况,我们提出了一种 “拼接” 算法,它通过使用客户端数据合并附加变量来个性化全局 NGM 模型。FedNGM 对数据异质性、大量参与者和有限的通信带宽具有鲁棒性。
Sep, 2023
在分布式数据隐私敏感的场景下,集中式训练图神经网络模型面临一些挑战,因此我们提出了一种名为联邦图学习(FGL)的方法,借助于联邦学习技术在保持数据去中心化的同时共同训练模型,并对 FGL 进行了分类、讨论、挑战和应用倡议。
May, 2021
提出了一种可扩展的 FedGraphTransformer(FedGT)方法,通过混合注意力机制解决了分布式图神经网络在局部子图更新中缺失链接的问题,以及子图异构性和数据隐私保护的问题。实验证明了 FedGT 的优越性。
Jan, 2024
文章提出一种基于联邦学习的图学习架构 FedGL,通过全局的自监督信息聚合每个客户机的模型,利用图数据的互补性,保护数据隐私并在分布式场景下提高模型质量。实验结果表明,FedGL 较传统方法在四个广泛使用的图数据集上表现优异。
May, 2021
本文提出了一种基于图结构的结构化联邦学习框架(SFL),通过使用客户端之间的关系图形信息来加强 PFL 中的知识共享过程,并能够同时学习全局和个性化模型。SFL 可扩展到学习客户之间的隐藏关系,并证明了其在交通和图像基准数据集上的有效性。
Mar, 2022
拓扑感知无数据知识蒸馏技术 (FedTAD) 可以解决子图异质性所带来的性能下降问题,通过优化局部 GNN 模型向全局模型的可靠知识转移,提高分布式图神经网络训练效果。
Apr, 2024