使用 MLP 初始化的 GNN 训练加速
通过无监督学习简化后的多层感知器(MLPs)在图表上进行学习,以增强泛化效果,特别是在未见节点的设置中,实现了显著的性能提升(7-26%)和图表推断加速(90-126 倍),在大规模图表数据集上优于现有基准方案。
Feb, 2024
本文比较了多层图神经网络和一种被称为图增强多层感知器的简化替代品之间的表现,其中后者首先通过图上的某些多跳算子增强节点特征,然后以节点方式应用 MLP;并证明了 GA-MLP 具备适当算子的情况下,能像 Weifeiler-Lehman(WL)测试一样,理论和数值上能够区分几乎所有非同构图,但是 GA-MLP 与 GNN 之间在表达能力方面的差距随着深度呈指数增长,并且 GA-MLP 不能计算属性步行的数量,表明 GA-MLP 受其操作符族的选择限制比拥有更高学习灵活性的 GNN 更为受限,这在社区检测实验中也得到了证明。
Oct, 2020
使用知识蒸馏技术将图神经网络(GNNs)和多层感知器(MLPs)相结合,提出了无图依赖的神经网络 GLNNs,并在 7 个数据集的生产环境中证明其比 GNNs 更快且准确率接近,适用于延迟受限的应用程序。
Oct, 2021
本文通过引入中间模型 PMLP,揭示了 GNN 的性能提升主要源于其本质上的泛化能力,而非原理层面上的增强表现力。同时,本文发现 PMLP 表现与 GNN 相当,但训练效率更高。该发现为解析 GNN 相关问题提供了新的视角。
Dec, 2022
AdaGMLP 是一种 AdaBoosting 框架,通过使用多个不同的 MLP 学生对标记节点的不同子集进行训练,解决了训练数据不足的问题,并结合节点对齐技术,提供了对具有缺失或不完整特征的测试数据的鲁棒预测,从而在许多延迟敏感的实际应用中表现优于现有的 G2M 方法。
May, 2024
本文提出了一个基于多层感知机的图神经网络模型 (Graph-MLP),通过利用图结构的监督信号,该模型仅使用多层感知机、激活函数和层归一化,而无需用到信息传递模块,在 loss level 中,设计了一个邻域对比损失 (NContrast),能够在大规模图数据和损坏的邻接信息中更轻巧、更强韧地进行分类任务,并证明了即使在测试阶段没有邻接信息,该模型仍然可以达到与最先进模型相媲美甚至更好的性能。
Jun, 2021
本文研究如何全面利用信息,从理论和实践上提高信息传递神经网络的表现力和可推广性,并提出一种新的名为 INGNN 的图神经网络模型,针对节点分类任务,与目前最先进的方法相比,实验证明其优越性(平均排名 1.78)。
Oct, 2022
本文提出了一种新的图神经网络架构 - 图注意力多层感知器(GAMLP),并在多个真实世界数据集和大规模工业数据集上进行了评估,证明了 GAMLP 在扩展性和效率方面具有最先进的性能。
Jun, 2022
对图神经网络 (GNN) 的初始化方法进行研究,提出了一种新的初始化方法 Virgo,通过考虑激活函数、隐藏维度、图结构和信息传递等因素,减少了方差不稳定性,提高了模型性能。
Dec, 2023
LightHGNN and LightHGNN$^+$ are proposed to eliminate the high-order structural dependencies of Hypergraph Neural Networks (HGNNs) during inference, reducing computational complexity and improving inference speed, achieving competitive or better performance than HGNNs and outperforming vanilla MLPs, while also showcasing their ability for latency-sensitive deployments.
Feb, 2024