基于曲率的图神经网络中的汇聚
本文研究图神经网络中信息传递中的 over-squashing 问题,通过引入基于曲率的重连方法以减轻该问题,同时探究其根源为图中负曲率边所导致的瓶颈现象。
Nov, 2021
本研究旨在从拓扑学的角度理解深度图神经网络中关于过度平滑和过度挤压的交错关系,发现这两个问题的本质相似性,并提出了一种基于 Ollivier 的 Ricci 曲率边界的随机 Jost 和 Liu 曲率重连算法 (SJLR),该方法比以前的基于曲率的重连方法更简单且更经济实惠,旨在帮助减轻过度平滑或过度挤压的影响并更好地理解这两个问题。
Dec, 2022
本研究探索了通过图神经网络的嵌入空间来减轻过度压缩现象,特别关注于将双曲型图神经网络推广到可变曲率的黎曼流形,以使嵌入空间的几何与图的拓扑相符,通过提供敏感性的界限结果,实现在具有负曲率的图中减轻过度压缩的有希望的理论和实证结果。
Nov, 2023
借鉴于经典和量子物理中常用的反时间原理,本研究颠倒了图热方程的时间方向,产生了一类高通滤波函数,提高了图节点特征的清晰度。基于此概念,引入了基于多尺度热核的图神经网络 (MHKG),通过综合不同的滤波函数对节点特征的影响,进一步将 MHKG 广义化为一种称为 G-MHKG 的模型,并全面展示了控制过度平滑、过度压缩和表现能力的各个元素的作用。本研究发现通过滤波函数的特性可以表征和分析上述问题,并揭示了过度平滑和过度压缩之间的权衡关系:提高节点特征的清晰度会使模型更容易过度压缩,反之亦然。此外,通过再次操作时间,展示了 G-MHKG 在较小条件下如何解决这两个问题。我们的实验结果证明了所提出模型的有效性,其在既具有同质性又具有异质性的图数据集上胜过了几个基线模型。
Sep, 2023
本研究探讨了图神经网络中的过度平滑问题,并通过使用高斯过程在无限多隐藏特征的极限中对图卷积网络中的过度平滑进行了研究。我们通过一种新的非过度平滑阶段,验证了该理论,并通过在有限大小的图卷积网络上进行训练线性分类器来测试我们的方法的预测结果,结果与有限大小的图卷积网络相吻合。
Jun, 2024
本文研究图形池化(Graph pooling)对图神经网络(GNN)性能的影响,使用随机化或补图聚类的变体挑战了保留局部性表示的必要性,并表明了卷积层在学习表示中的领导作用。与普遍认为的不同,局部池化并非导致 GNN 在相关且广泛使用的基准测试中获得成功的原因。
Oct, 2020
该研究提出了一种新的、适应性强的信息传递框架 ——bilateral-MP,利用节点类别信息估计成对的模块化梯度,并在聚合函数应用时利用梯度进一步保留全局图结构,在五个中等规模基准数据集上的实验表明,bilateral-MP 可以有效防止过度平滑导致的性能降低。
Feb, 2022
通过对节点进行度量和异质性分级,我们成功解释和预测了 GCNs 的过度平滑和异质性问题,并提出了结构和特征基础的边缘校正策略来处理这两个问题。
Feb, 2021