提升表达能力的非冗余图神经网络
提出一种用于分析过度压缩的基于信息收缩的框架,此分析是基于 von Neumann 的可靠计算模型的,该计算模型认为在噪声计算图中过度压缩会导致信号闷灭。同时,本研究提出了一种基于重连的算法来缓解过度压缩问题。
Aug, 2022
本文针对图神经网络在传递节点特征时的过度平滑和过度压缩问题,提出了通过改变图结构解决该问题的方法,并给出了不需要训练就能计算节点和图表示的评估设置,结果表明重构底层图对消息传递很少有实际的好处。
May, 2023
通过理论分析,证明神经网络节点宽度可以缓解过度压缩问题,而神经网络深度则无法解决此问题。节点距离越远的高通勤时间节点之间出现过度压缩现象,而图形改写属于解决此问题的一类方法。
Feb, 2023
引入一种扩展型宽度感知信息传递(PANDA)的新信息传递范式,在网络结构中选择性地扩展具有高度中心性的节点,以解决 “过度压缩” 问题,并且在实验中表现优于传统的网络重连方法。
Jun, 2024
本文针对图结构数据上的机器学习所使用的最先进的模型 —— 图神经网络 (GNNs) 中的信息传递神经网络 (MPNNs) 类进行研究,分析了不同维度的节点特征在 MPNNs 中的表达能力,并通过新颖的量化特征来解释过压缩效应对 MPNNs 表达能力的影响。结果表明,对于大多数实际情况,MPNNs 的表现能力受到严重的限制。
Jun, 2023
利用最近在精确和可微分的 k 子集采样中的进展,我们设计了一种概率重连的消息传递图神经网络(PR-MPNNs),该网络学习在省略不太有益的边的同时添加相关边。首次,我们的理论分析探索了 PR-MPNNs 如何增强表达能力,并且我们确定了它们优于纯随机方法的精确条件。经验证实,我们的方法有效地缓解了如过度压缩和预测能力不足等问题。此外,根据现有的真实世界数据集,我们的方法在预测性能上与传统的 MPNN 模型和最近的图变压器架构相比表现出有竞争力或更好的性能。
Oct, 2023
本文提出了一种适用于任何 MPNN 体系结构的框架,通过执行分层依赖的重连来确保图逐渐密集,同时提出了一种可延迟的机制,允许基于层和彼此的距离,节点之间进行跳过连接,并在几个长程任务上验证了该方法,表明它胜过了图转换器和多跳 MPNN。
May, 2023
本文介绍了一种受物理启发的 GNN 模型,用于改善深度图神经网络中的过度平滑问题,该模型与现有的 GNN 架构相集成,引入了一种熵感知的消息传递项,在节点聚合过程中执行熵的梯度上升,从而在嵌入中保留一定程度的熵。我们通过对多个常见数据集进行比较分析,评估了我们的模型与最先进的 GNN 模型的性能。
Mar, 2024
提出了一种名为 Equivariant Subgraph Aggregation Networks(ESAN)的新框架,它可以代表每个图形并将其处理为一个经过适当等变架构处理的子图集合,从而提高了图形信号处理的表现力。
Oct, 2021
提出了一种基于 1-WL 和邻居之间的边缘考虑的 NC-1-WL 算法,实现了图同构测试,提高了图神经网络的可表达性;进一步提出了 NC-GNN 框架作为 NC-1-WL 的可微分神经版本,能够在各种基准测试中实现出色的性能。
Jun, 2022