May, 2024

个性化联邦学习的束超网络

PDF
TL;DR通过将图神经网络与超网络相结合，图超网络（GHNs）在神经架构搜索、分子性质预测和联邦学习等各个领域中利用关系数据。为了克服 GHNs 的不足，在个性化联邦学习（PFL）的背景下，我们提出了一种新型的超网络类，即 sheaf 超网络（SHNs），通过将细胞束理论与超网络相结合，改进了 PFL 的参数共享。我们在多样的 PFL 任务中对 SHNs 进行了全面评估，包括多类分类、交通和天气预测。此外，我们提供了一种在无关系图的情况下构建客户关系图的方法。结果表明，在复杂的非独立同分布场景中，SHNs 始终优于现有的 PFL 解决方案，其准确率提高了 2.7%，均方差降低了 5.3%。
graph hypernetworkssheaf hypernetworksparameter sharingpersonalized federated learningclient relation graphs
发现论文，激发创造
  • 具有连接拉普拉斯算子的层雪峰神经网络

    本文提出了一种利用黎曼几何计算切空间之间最优对齐的新方法来计算 Sheaf Neural Network（SNN）的方法，该方法在与之前的 SNN 模型相比具有更少的计算开销，为代数拓扑和微分几何之间的有趣联系提供了一个有意义的构架。

    Jun, 2022

  • FedHGN: 一种针对异构图神经网络的联邦框架

    本文提出了 FedHGN，这是一种新颖而通用的 FGL 框架，用于异构图神经网络，采用模式权重分离来启用模式不可知知识共享，并采用系数对齐来稳定训练过程和提高 HGNN 性能，确保更好的隐私保护，FedHGN 在三个异构图数据集上的表现优于本地训练和传统的 FL 方法。

    May, 2023

  • 使用超网络进行个性化联邦学习

    本文提出了一种基于超网络的个性化联邦学习方法 pFedHN，该方法可以协同训练多个客户端的个性化模型，在考虑数据分布差异和减少通信成本的同时实现有效的参数共享，并在多个个性化联邦学习挑战中得到了很好的表现。

    Mar, 2021

  • 使用图形超网络进行异构架构的联邦学习

    提出了一个新的标准联邦学习 (FL) 框架，该框架通过采用图形超网络进行参数共享，适应了异构客户端架构的需求，并在标准基准测试中表现显着优于现有解决方案。

    Jan, 2022

  • 从异质性学习：超图的动态学习框架

    本文提出了一种名为 LFH 的超图学习框架，能够通过动态超边构建和注意力嵌入更新利用图的异质性属性进行超图学习，在多个数据集上的实验证明其有效性。

    Jul, 2023

  • 基于图的推荐系统的束神经网络

    本文提出一种基于 Sheaf 神经网络的图神经网络方法，相比于现有的图神经网络方法，该方法将节点与边关联到一个向量空间而不是一个静态向量，以适当的表示方式更准确地建模和推断用户和物品等节点，从而在协同过滤和链接预测等任务上实现了最先进的性能。

    Apr, 2023

  • 少样本学习的混合图神经网络

    本研究提出了一种新颖的混合 GNN（HGNN）模型，该模型由实例 GNN 和原型 GNN 组成，用于快速适应元学习特征嵌入到新任务中，在三个 FSL 基准测试中获得了新的最新成果。

    Dec, 2021

  • 图形超网络用于神经架构搜索

    本文提出了一种新的神经网络结构搜索方法 ——Graph HyperNetworks，借助图神经网络来预测网络性能并直接生成权重，从而提高神经网络搜索效率；此外，Graph HyperNetworks 还可在任意预测环境下使用，在 CIFAR-10 和 ImageNet 等数据集上比现有手动设计网络更快且性能更好。

    Oct, 2018

  • 神经束扩散：GNN 中异质性和过度平滑的拓扑视角

    本文探讨细胞鞘理论在图神经网络研究中的应用，研究表明图的基础几何结构与 GNN 在异质性场景下的过度平滑行为有深刻关联。通过学习来自数据的 sheaf，可以获得具有竞争力的表现。

    Feb, 2022

  • 联邦学习中的非线性融合：面向联邦领域泛化的超网络方法

    提出了一种创新的基于超网络的联邦融合算法 hFedF，用于解决联邦领域泛化中个性化和泛化之间的权衡问题，并在多个案例中，在联邦领域泛化的三个常用数据集上超越强基准性能。

    Feb, 2024