Riemannian 图神经网络中的过度压缩
本研究旨在从拓扑学的角度理解深度图神经网络中关于过度平滑和过度挤压的交错关系,发现这两个问题的本质相似性,并提出了一种基于 Ollivier 的 Ricci 曲率边界的随机 Jost 和 Liu 曲率重连算法 (SJLR),该方法比以前的基于曲率的重连方法更简单且更经济实惠,旨在帮助减轻过度平滑或过度挤压的影响并更好地理解这两个问题。
Dec, 2022
本文研究图神经网络中信息传递中的 over-squashing 问题,通过引入基于曲率的重连方法以减轻该问题,同时探究其根源为图中负曲率边所导致的瓶颈现象。
Nov, 2021
本文针对图结构数据上的机器学习所使用的最先进的模型 —— 图神经网络 (GNNs) 中的信息传递神经网络 (MPNNs) 类进行研究,分析了不同维度的节点特征在 MPNNs 中的表达能力,并通过新颖的量化特征来解释过压缩效应对 MPNNs 表达能力的影响。结果表明,对于大多数实际情况,MPNNs 的表现能力受到严重的限制。
Jun, 2023
提出一种用于分析过度压缩的基于信息收缩的框架,此分析是基于 von Neumann 的可靠计算模型的,该计算模型认为在噪声计算图中过度压缩会导致信号闷灭。同时,本研究提出了一种基于重连的算法来缓解过度压缩问题。
Aug, 2022
通过理论分析,证明神经网络节点宽度可以缓解过度压缩问题,而神经网络深度则无法解决此问题。节点距离越远的高通勤时间节点之间出现过度压缩现象,而图形改写属于解决此问题的一类方法。
Feb, 2023
本文提出了一种使用节点嵌入关系明确缓解图神经网络(GNNs)中超平滑问题的新方法。通过在真实数据集上进行试验,表明利用节点嵌入关系使得 GNN 模型如 Graph Attention Network 对超平滑的鲁棒性更强,并且在更深的 GNNs 下取得更好的性能。我们的方法可以与其他方法结合使用,以获得最佳性能。
Jan, 2023
本研究分析图神经网络在层数增加时出现的过度平滑现象,通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件,来说明当嵌入的狄利克雷能量收敛于零时,图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力,可以得到比已有研究更简单的证明,并可处理更多的非线性问题。
Jun, 2020
借鉴于经典和量子物理中常用的反时间原理,本研究颠倒了图热方程的时间方向,产生了一类高通滤波函数,提高了图节点特征的清晰度。基于此概念,引入了基于多尺度热核的图神经网络 (MHKG),通过综合不同的滤波函数对节点特征的影响,进一步将 MHKG 广义化为一种称为 G-MHKG 的模型,并全面展示了控制过度平滑、过度压缩和表现能力的各个元素的作用。本研究发现通过滤波函数的特性可以表征和分析上述问题,并揭示了过度平滑和过度压缩之间的权衡关系:提高节点特征的清晰度会使模型更容易过度压缩,反之亦然。此外,通过再次操作时间,展示了 G-MHKG 在较小条件下如何解决这两个问题。我们的实验结果证明了所提出模型的有效性,其在既具有同质性又具有异质性的图数据集上胜过了几个基线模型。
Sep, 2023