图注意力多层感知机
提出了一种基于图神经网络的网络定位方法,通过结合关注机制,在严重的非直线视线传播情况下实现了卓越的稳定性和准确性,消除了离线校准或非直线视线识别的需求。
Nov, 2023
本文比较了多层图神经网络和一种被称为图增强多层感知器的简化替代品之间的表现,其中后者首先通过图上的某些多跳算子增强节点特征,然后以节点方式应用 MLP;并证明了 GA-MLP 具备适当算子的情况下,能像 Weifeiler-Lehman(WL)测试一样,理论和数值上能够区分几乎所有非同构图,但是 GA-MLP 与 GNN 之间在表达能力方面的差距随着深度呈指数增长,并且 GA-MLP 不能计算属性步行的数量,表明 GA-MLP 受其操作符族的选择限制比拥有更高学习灵活性的 GNN 更为受限,这在社区检测实验中也得到了证明。
Oct, 2020
该论文提出了一种基于 L0 正则化的 Sparse Graph Attention Networks,可以对大规模、复杂的图进行特征聚合,鲁棒性与有效性更高,达到与原始图相同或更高的预测性能;同时,其使用结果可视化和量化表达,让人更加容易理解。
Dec, 2019
本研究使用可扩展的图转换器(GT)框架来进行单个大规模图的表示学习,并提出了快速的采样技术和局部注意机制,以解决全局注意机制在大规模图上的计算复杂性问题。在三个大规模节点分类基准测试中,我们验证了 LargeGT 框架,并取得了 3 倍的加速和 16.8%的性能提升。
Dec, 2023
本研究提出了一种新型的注意力图神经网络 (Attentive GNN),该网络通过三重注意力机制(节点自注意力、邻域注意力、层记忆注意力)处理 GNN 深度学习中存在的过拟合和过度平滑问题,从而最终提升了其在小样本学习任务上的性能表现。实验证明,相比于其他现有的 GNN 和 CNN 方法,在深度神经网络骨架 (ConvNet-4 和 ResNet) 和归纳、传导方式下,在 mini-ImageNet 和 tiered-ImageNet 数据集上,该新型图神经网络取得了令人满意的结果。
Jul, 2020
LinkedIn 在大规模部署的 Graph Neural Networks Framework 中提出了 LiGNN,通过一系列算法改进如图形结构设计、冷启动解决方案和邻居采样优化,实现了在 LinkedIn 图表上大规模训练的速度提升,并总结了在实际部署中所获得的经验教训和改进成果。
Feb, 2024
MPXGAT 是一种基于注意力机制的深度学习模型,专门用于多重图嵌入,通过利用图注意力网络(GATs)的鲁棒性,它捕捉多重网络的结构,从而促进了网络多个层内和层间的准确链路预测。我们在各种基准数据集上进行的全面实验评估证实,MPXGAT 始终优于最先进的竞争算法。
Mar, 2024
本文通过系统性实验评估关注网络的层数与性能之间的关系,发现残差连接可以解决 Oversquashing 现象,提高 GAT 模型的性能。因此,我们提出了 ADGAT 变体模型,可根据图的稀疏性自适应选择层数,从而显着提高了模型的性能。
Jan, 2023
本研究提出自动设计深层 GNN 的方法,其中添加了新型的跳跃连接以促进特征重用和缓解梯度消失问题,并允许进化算法在演化过程中增加 GNN 层数来生成更深的网络,在 Cora、Citeseer、Pubmed 和 PPI 数据集上实验表明,GNNs 的生成结果具有最先进的性能。
Nov, 2020
该文提出了一种新的网络架构 —— 门控注意力网络(GaAN),用于学习图形。该架构使用卷积子网络来控制每个注意力头的重要性,证明了其在归纳节点分类问题和交通速度预测问题上的有效性,并在三个真实世界数据集上取得了最先进的结果。
Mar, 2018